DE19749974A1 - Verfahren und Apparat zur Erzeugung einer 3D-Punktwolke für die Topometrie (3D-Videometrie) oder die 3D-Vision für Multimedia-Applikationen - Google Patents

Description

1. Technisches Anwendungsgebiet

Das technische Anwendungsgebiet besteht in der Bestimmung der 3D-Form oder 3D-Gestalt von Körpern im Raum und Szenen wie Theaterbühnen, vorzugsweise mit einer Aufnahmekamera in einem Aufnahmesystem, die im weiteren als 3D-Kamera bezeichnet wird. Die Anwendung dieses Verfahrens und Apparates zur Erzeugung einer 3D-Punktwolke, im weiteren als 3D-Aufnahmeverfahren bezeichnet, wird zum einen im Sinne der Meßtechnik gesehen und als 3D-Meßtechnik oder 3D-Videometrie bezeichnet. Die 3D-Punktwolke stellt dabei das Ergebnis einer umfangreichen Berechnung aus optisch erzeugten Signalen dar. Hierbei wird die mit der vorgeschlagenen Methode erzeugte Punktwolke beispielsweise im Sinne der Überführung der Daten in ein CAD-System bearbeitet. Es werden Flächen- und Volumenmodelle generiert und mit bereits vorhandenen Solldaten verglichen. Ein Anwendungsgebiet kann dabei die 3D-Aufnahmetechnik im Kreislauf des Reverse-Engineerings sein (s. a. Bieder, H.: "Optische Formerfassung und Reverse-Engineering - Anforderungen an die Software (Daimler-Benz-AG), GMA-Bericht 30, DGZfP - VDI/VDE-GMA Fachtagung 28./29. April 1997, Langen, Bundesrepublik Deutschland, S. 139-146). Ein derartiges System kann in einer 3D-Koordiatenmeßmaschine als 3D-Meßkopf eingesetzt werden.

Der zweite Anwendungsfall stellt das Erzeugen von 3D-Bildern für die 3D-Wiedergabe dar. Hierbei geht es um die 3D-Vision im 3D-Video- bzw. 3D-Fernsehbereich, bzw. um 3D-Multimedia-Anwendungen. Dabei kann es beispielsweise auch 3D-Effekte in Filmen geben oder vollständige 3D-Filme erzeugt werden. Das Wiedergabemedium ist vorzugsweise elektronischer Natur. Aus der 3D-Punktwolke, die auch bei dieser zweiten Applikation das Ergebnis einer Berechnung aus optisch erzeugten Signalen ist, werden Flächen und Volumen von Körpern und Szenen so berechnet, daß eine 3D-Wiedergabe durch elektronische Medien oder optische Verfahren möglich ist. Dabei ist die elektronische Kopplung einer 3D-Kamera mit einer entsprechend angepaßten, aber dennoch üblichen Farbkamera möglich, um 3D-Farbbilder zu erzeugen.

2. Stand der Technik

Die 3D-Form von Oberflächen wird häufig mit den Methoden der Streifenprojektion, auch Streifen-Triangulationsverfahren oder Moiré-Technik genannt, vermessen. Dabei wird mit einem möglichst großen Einfallswinkel für die Prüflingsbeleuchtung, beispielsweise zwischen 20° und 70°, der Prüfling oder die Szene beleuchtet. Bei einem kleineren Einfallswinkel, beispielsweise 10°, bei der Abbildung eines Streifenfeldes auf die Prüflingsoberfläche ergibt sich für vorgegebene Meßaufgaben oft eine zu geringe Empfindlichkeit. Eine Erhöhung der Empfindlichkeit kann bei einem gegebenen Einfallswinkel durch eine Erhöhung der Streifendichte erfolgen. Dabei entstehen Probleme bei der Abbildung eines sehr dichten Streifenmusters, da die verfügbaren Kamerachips in der Größenordnung von 1000×1000 Pixeln nur eine begrenzte Anzahl von Bildpunkten aufweisen und damit nur Streifenzahlen in der Größenordnung von 102 gut auszuwerten sind. Um bei einem kleineren Einfallswinkel (<10°) eine hohe Meßgenauigkeit zu erreichen, sind jedoch bis zu 104 Streifen in einer Richtung auszuwerten. Dies ist durch optische Abbildungssysteme durchaus möglich.

Das Problem liegt in der immer noch bestehenden unterschiedlichen Übertragungsleistung der elektronischen Bildverarbeitung und der optischer Systeme.

Die Erzeugung von Streifenfeldern mit kohärenten Planwellen, beschrieben in Technisches Messen, 55. Jahrgang, Heft 12/1988, S. 481-491, führt zu Speckle-Effekten, welche die sinnvolle Höhenauflösung häufig auf weniger als 1/100 der effektiven Wellenlänge begrenzen.

In der Zeitschrift Optical Engineering, Vol. 32, No. 6 (1993), S. 1374-1382, wird auch auf die nicht zu unterschätzenden Fehlereinflüsse hingewiesen, die durch Speckle-Effekte bei der Verwendung kohärenter Planwellen bei der Triangulationsmeßtechnik auftreten. Allein aus Sicherheitsgründen verbietet sich bei der Aufnahme von Personen die Anwendung gerichteter Laserstrahlung.

In der deutschen Patentschrift P 43 13 061.5 (Patentschrift der o. g. Autoren von 1993) ist ein Lateral-Shear erzeugendes Strahlteilersystem mit Retroreflektoren und einer ausgedehnten Lichtquelle beschrieben, welches einem holographischen Gitter, einer Abbildungsstufe und einem Prüfling vorgeordnet ist. Damit ist die Erzeugung von variablen Interferenzstreifendichten mit geöffneten Bündeln auf der Prüflingsoberfläche bei vernachlässigbaren Speckle-Einflüssen möglich. Die Anzahl der erzeugten Streifen muß jedoch der lateralen Kameraauflösung angepaßt werden. Dadurch ist eine hohe Meßempfindlichkeit an einen großen Einfallswinkel der Teilbündel auf den Prüfling gebunden.

Um eine hohe Schärfentiefe bei der Vermessung von tiefen Objekten zu erreichen zu erreichen, wird stark abgeblendet, also mit kleinen Objektivöffnungen gearbeitet. Dies erfordert starke Lichtquellen, beispielsweise in Form von Blitzlampen oder es ist nur die Ausleuchtung vergleichsweise kleiner Felder möglich, beispielsweise 200 mm×200 mm.

Ein weiteres Problem sind diskontinuierliche Oberflächen, die zu einer Verletzung des Sampling- Theorems führen können. Hier wird auf der Grundlage des Gray-Code-Verfahrens zunächst eine Folge von Binär-Bildern aufprojiziert und anschließend bei höheren Genauigkeitsforderungen Sinusgitter auf die Objektoberfläche abgebildet und die bekannte Phasenschiebemethode angewendet.

Der Stand der Technik bei der Erzeugung von 3D-Bildern basiert in der Regel auf der Zweikammeratechnik. Es wird das biologische Modell kopiert, welches auf dem zweiäugigen Sehen aufbaut. Grundsätzlich kann es durch die Verwendung von zwei Kameras zu Problemen mit der lateralen Genauigkeit bei der Generierung der 3D-Punktwolke kommen. Deshalb ist bei der hochgenauen 3D-Technik die Ein-Kamera-Technik von Vorteil.

Außerdem stehen die Daten des Objektraumes bei den herkömmlichen Verfahren nicht in digitaler Form zur Verfügung.

3. Mit der Erfindung gelöste Aufgabe

Die Erfindung löst die Aufgabe der flächenhaften Prüfung der 3D-Gestalt technischer und natürlicher Oberflächen von Körpern im Raum sowie kompletter Szenen auch auf Film- oder Theaterbühnen. Oberflächen von Körpern im Raum sowie komplette Szenen können mit hoher Meßgenauigkeit in der Tiefe und mit hoher Meßproduktivität gemessen oder aber in Form elektronischer Bildwiedergabemedien als 3D-Objekte dargestellt werden. Durch die Möglichkeit der Verwendung hochgeöffneter Objektive, also nahe der Maximalöffnung, z. B. 1 : 2,8 bis 1 : 5,6 relative Öffnung, wird die benötigte Lichtleistung für die Ausleuchtung der Szene reduziert, bzw. es können größere Felder ausgeleuchtet werden. Durch das Auswerteverfahren wird eine Auflösung auf bis zu 1/1000 der effektiven Wellenlänge in der Tiefe dadurch erreichbar. Dies ist aber nicht in jedem Fall sinnvoll und möglich.

Der Prüfling steht etwa senkrecht zur optischen Achse des Aufnahmeobjektivs. Das gestattet eine optimale laterale Auflösung und ist die Voraussetzung für die Anwendung tomographischer oder tiefenscannender Verfahren.

Technisch wird dadurch die Prüfung der Oberflächengestalt von Werkstücken des Maschinenbaus, des Fahrzeugbaus, einschließlich der Luft- und Raumfahrt weiter verbessert. Im Grunde gibt es nur wenige Einschränkungen bezüglich der Vermessung von Körpern, beispielsweise entspiegelte Glasoberflächen. Damit steht der Applikation in der automatisierten Produktion, in der Robotik, im Bauwesen, in der Medizin und auch im künstlerischen Bereich, beispielsweise bei der Vermessung von Großplastiken oder Fassaden nichts entgegen. Auch die elektronische Unterstützung von Blinden zur Orientierung im Raum ist damit möglich.

Weiterhin ist die Vermessung unbekannter räumlicher Strukturen mit der Anwendung der Erfindung möglich. Dies ist bei automatisierten Recyclingprozessen eine Möglichkeit der Trennung von komplexen Objekten.

Selbstverständlich muß die Dynamik im optischen Aufnahmekanal den Reflexionseigenschaften gegebenenfalls über mehrere Größenordnungen angepaßt werden, bzw. die Helligkeit der Beleuchtungseinrichtung den realen Verhältnissen durch eine hochdynamische und genaue Beleuchtungssteuerung.

Weiterhin können in Filmstudios Personen, Tiere, technische Objekte, aber auch nichttechnische Objekte in ihrer räumlichen Struktur mit nur einer Aufnahmekamera erfaßt werden, wobei der Raum, in welchem sich die Objekte befinden, strukturiert in unterschiedlichen Tiefen und zeitlich nacheinander beleuchtet wird. Bei entsprechend hoher Dynamik des beschriebenen 3D-Verfahrens, also der eingesetzten elektronischen zur Bildaufnahme und mechanischen Komponenten, können auch sich bewegende Objekte und Szenen erfaßt werden. Dadurch ist die Echtzeitfähigkeit des Verfahrens grundsätzlich gegeben.

4. Erreichte Verbesserungen und Vorteile gegenüber dem Stand der Technik

Die Anwendung der Erfindung vergrößert sehr wesentlich den Tiefenmeßbereich bei der Prüfung der 3D-Gestalt von Oberflächen von Körpern und Szenen, besonders mit Abmessungen im Bereich oberhalb einiger Zentimeter. Durch die Beleuchtung des Prüflings unter einem vergleichsweise kleinen Winkel, beispielsweise um 10° oder darunter, können auch glatte Oberflächen mit einem geringen Streuvermögen ohne Präparierung der Oberfläche - wie in der Praxis heute oft noch üblich - geprüft werden, beispielsweise auch fein bearbeitete metallische Oberflächen.

Die bei den bekannten optischen Triangulationsverfahren oft auftretenden und sehr störenden Lichtschatten bei räumlichen Strukturen werden weitgehend vermieden.

Der in seiner 3D-Form zu erfassende Körper oder die gesamte Szene steht vorzugsweise senkrecht zur optischen Achse des Aufnahmeobjektivs. Das gestattet aufgrund der optimalen Abbildungsbedingungen eine hohe laterale Auflösung und den Einsatz tomographischer oder tiefenscannender Verfahren. Diese basieren zum einen auf einer Änderung der Relativlage zwischen der Aufnahmekamera und dem Körper. Dadurch entsteht kein Auswandern des Bildes in der Kameraebene. Andererseits kann im Kopf der Aufnahmeeinheit, die die Aufnahmekamera enthält, ein Scanner installiert sein, wodurch keine Relativbewegung zwischen dem Objekt und der 3D-Aufnahmekamera erzeugt werden muß. Mittels Scanner wird der Objektraum durchfokussiert. Dadurch ist es möglich, aus dem gesamten Objektraum in sehr kurzen Zeiten, beispielsweise im ms-Bereich Informationen aufzunehmen.

So ermöglicht die Anwendung der Erfindung die nahezu vollständige Ausnutzung der hohen Leistungsfähigkeit optischer Abbildungsysteme für die Prüfung der 3D-Oberflächengestalt unter Berücksichtigung der geringeren Leistungsfähigkeit der elektronischen Bildverarbeitung. Präzisionsobjektive bilden bis zu 10 000 Linienpaare über dem Bildfelddurchmesser ab. Andererseits können komplette Szenen echtzeitnah als 3D-Szenen aufgenommen werden. Die Grenze für das erfaßbare Volumen stellt die zum Einsatz gebrachte Lichtenergie, die Lichtstärke der verwendeten Objektive sowie die photometrische Empfindlichkeit der verwendeten Bildempfänger dar. Je mehr Lichtenergie, je höher die relative Öffnung der optischen Systeme und der lichtoptische Durchsatz (Throughput) aller im 3D-Aufnahmesystem verwendeten optischen Komponenten und die Empfindlichkeit des vorzugsweise elektronischen Aufnahmemediums, um so größer ist der zu erfassende Raum. Dieser kann durchaus einige Meter und bis 20 m betragen. Die Grenze ist hierbei nicht physikalischer, sondern eher technischer Natur.

Durch die Auswertung der Farbinformation der Körper oder Szenen durch die grundsätzlich mögliche Verwendung einer Farbkamera im 3D-Aufnahmesystem oder durch die Verwendung einer zusätzlich installierten Farbkamera können die Körper oder Szenen farblich mittels elektronischer Medien wiedergegeben werden. Die Verwendung einer zusätzlichen Farbkamera ermöglicht eine höhere Verarbeitungsgeschwindigkeit, da möglicherweise die Farbkamera eine geringere laterale Auflösung besitzen kann. Die Farbinformation wird der 3D-Form zugeordnet. Bildlich gesprochen wird das 3D-Bild eingefärbt, wobei spezielle Algorithmen eingesetzt werden können. Diese Verfahren sind jedoch nicht Bestandteil der Erfindungsbeschreibung. Es soll jedoch an dieser Stelle mit Nachdruck auf die Möglichkeit der Erzeugung bewegter 3D-Farbbilder hingewiesen werden.

Auf die Verwendung von Laserstrahlung wie bei Laser-Scannern notwendig kann völlig verzichtet werden.

Ein weiterer, sehr wesentlicher Vorteil besteht darin, daß der Objektraum schnell und genau digitalisiert werden kann, also die 3D-Koordinaten in digitaler Form für die weitere Bearbeitung zur Verfügung stehen. Damit können die vorhandenen und noch zu entwickelnden digitalen Werkzeuge (Tools) zur Be- und Verarbeitung ohne Einschränkung eingesetzt werden.

5. Grundzüge des Lösungsweges

Es werden die Grundzüge des Verfahrens und der Anordnung gemeinsam beschrieben.

Das Verfahren besteht darin, daß mittels einer gerasterten Struktur, beispielsweise eines körperliches Gitters, beispielsweise ein Liniengitter, oder eines Arrays aus mikrooptischen Bauelementen, beispielsweise ein Mikrolinsen-Array mit einer Lichtquelle oder mittels eines Interferometer mit einer kohärenten Lichtquelle, welches als Streifengenerator benutzt wird und einem möglichst hochgeöffneten Beleuchtungsobjektiv ein Lichtgitter im Objektraum erzeugt wird. Ziel ist dabei in der Tiefe des Raumes bei einer Aufnahme nur eine möglichst geringe Ausdehnung des Schärfebereiches zu erhalten. Das entspricht einem geringen Tiefenschärfebereich wie er aus der Photographie bekannt ist. Zusätzlich zum Beleuchtungsobjektiv, vorzugsweise parallel zur optischen Achse des Beleuchtungsobjektivs, ist ein Aufnahmeobjektiv angeordnet.

Beleuchtungs- und Aufnahmeobjektiv sind vorzugsweise von gleicher Bauart. Auch fallen die Hauptebenen der Objektive vorzugsweise zusammen und die Objektive sind dicht beieinander angeordnet oder die Linsen befinden sich sogar in einer gemeinsamen Fassung. Auch sind die Objektive vorzugsweise mechanisch starre Präzisions-Objektive, also ohne Fokussiermöglichkeit und mit vorzugsweise großem Objekt- und Bildfeld und auch in der Tiefe gut korrigiert. D. h. beispielsweise für einen Bereich des Abbildungsmaßstabes zwischen 0,05x und 0,5x. Durch die achsparallele Anordnung und die Koinzidenz der Hauptebenen sind die Objektive stets auf die gleiche Objekt- und Bildebene eingestellt und bilden somit durch den geringen Abstand der Achsen zumindest einen identischen Teil des Objektfeldes im Objektraum vorzugsweise verkleinernd in den Bildraum ab. Im Bildraum bestehen jedoch getrennte Bildfelder, jedoch in der gleichen Bildebene, die senkrecht auf der optischen Achse steht. Von jedem Objektpunkt aus kann der Triangulationswinkel durch den Hauptbeleuchtungsstrahl und den Hauptabbildungsstrahl bestimmt werden. Dieser ändert sich im Objektfeld etwas. Dies ist aber aufgrund des Auswerte-Algorithmus nicht von Nachteil.

Während sich vor dem Beleuchtungsobjektiv in seiner Bildebene das Gitter oder das mikrooptische Array befinden, ist in der Bildebene des Aufnahmeobjektivs (auch) ein mikrooptisches Array angeordnet, welches vorzugsweise die gleiche Gitterkonstante wie das Gitter oder das Array in der Bildebene des Beleuchtungsobjektivs aufweist. Das mikrooptische Array in der Bildebene des Beleuchtungsobjektivs ist ein Mikrolinsen-Array aus diffraktiven oder refraktiven Elementen, wobei der lichtoptische Wirkungsgrad der refraktiven Linsen nach dem Stand der Technik höher ist und so vorzugsweise ein Mikrolinsen-Array aus refraktiven Linsen gleicher Brennweite im gesamten Array eingesetzt wird.

Dem Mikrolinsen-Array nach dem Aufnahmeobjektiv ist ein weiteres Objektiv zugeordnet, welches im Sinne der Lichtrichtung nachgeordnet ist und im weiteren als Aufnahmeobjektiv 2 bezeichnet wird. Diese Aufnahmeobjektiv 2 ist auf der dem Array zugeordneten Seite möglichst gut telezentrisch ausgeführt. Auf der Zweiten Seite des Objektivs 2 befindet sich der Bildaufnehmer vorzugsweise eine elektronische Aufnahmekamera. Das Gitter auf der Bildseite des Beleuchtungsobjektivs und das Mikrolinsen-Array auf der Bildseite sind vorzugsweise fest miteinander verbunden. Gleichzeitig sind das Gitter (bzw. das Mikrolinsenarray) und das Mikrolinsen-Array auf der Bildseite des Aufnahmeobjektivs mit einem hochdynamischen Scanner verbunden. Der Scanner ist mit einem Meßsystem verbunden und hat die Bewegungsrichtung in Richtung der optischen Achse der beiden Objektive. Dem Beleuchtungsobjektiv ist (wie schon gesagt) eine Lichtquelle zugeordnet. So entsteht im Objektraum ein Lichtgitter, welches aber nur auf den Bereichen der Körper oder der Teile der Szene scharf, also kontrastreich, zu sehen ist, welche sich in der Schärfeebene des Beleuchtungsobjektivs befindet. Die anderen Bereiche zeigen eine mehr oder wenig gleichmäßig beleuchtete Oberfläche. Das Aufnahmeobjektiv bildet die Streifenstruktur auf den in der Schärfeebene sich befindenden Oberflächenteilen in den Bildraum ab, wobei die Fokusebene der Mikrolinsen nach dem Aufnahmeobjektiv mit der Gitterebene oder der Fokusebene des Mikrolinsen-Arrays zur Beleuchtung koinzidiert. So wird das Bild der Objektoberfläche durch das Mikrolinsen-Array des Aufnahmeobjektivs nach Unendlich abgebildet. Da das Mikrolinsen-Array des Aufnahmeobjektivs sich jedoch im Strahlraum des telezentrischen Objektivs 2 befindet, wird das Mikrolinsen-Array als Objekt durch das Objektiv 2 auf den Bildaufnehmer (die Kamera) scharf abgebildet.

Durch das Bewegen des Gitters vor dem Beleuchtungsobjektiv und des mit dem Gitter starr gekoppelten Mikrolinsen-Arrays mittels Scanner werden nach und nach die Teile des Objektes oder der Szene in der Tiefe - natürlich innerhalb eines endlichen Tiefenbereiches durchfahren. Vorausgesetzt das Mikrolinsen-Array bewegt sich mechanisch innerhalb des Telezentriebereiches, entsteht stets im Sinne einer endlichen lateralen Auflösung ein scharfes Bild der Objektoberfläche auf dem Bildempfänger - von den jeweils durch die Schärfeebenen erfaßten Teilen des Objektes oder der Szenen. So ist innerhalb dieses Telezentrie-Bereiches keine Bewegung der Kamera notwendig, um die jeweils scharfabgebildeten Teile der Objektoberfläche zu erfassen. Natürlich kann auch der kameraseitige Teil des Objektivs 2 telezentrisch ausgeführt sein. In Sinne der besten lateralen Auflösung kann dann auch die Kamera entsprechend der Tiefenübertragung des Objektivs verschoben werden. Dies erfordert aber die Bewegung zum Mikrolinsen-Array vergleichsweise großer Massen, welches beispielsweise massearm in Kunststoff oder in Glas ausgeführt ist.

Für eine hohe Tiefenempfindlichkeit wird eine hohe Streifendichte gewählt, beispielsweise 500 bis 1000 Streifen oder mehr. Die Kamera kann etwa 500 bis 1000 Bildpunkte lateral auflösen und damit kann nach dem Abtast-Theorem ein derartiges Gitter nicht mehr aufgelöst werden. Deshalb wird eine optische "Austastung" des Gitters vorgenommen. Dies bedeutet, daß nur Teile des Gitters auf die Kamera zur Abbildung kommen, beispielsweise bezogen auf den Streifenabstand maximal jeweils nur eine halbe Streifenperiode, besser nur eine viertel Periode. Dies wird wie folgt erreicht: Das Aufnahmeobjektiv besitzt eine bestimmte (gegebene) bildseitige numerische Apertur.

Dieser Apertur ist das Mikrolinsen-Array angepaßt. Es weist demzufolge eine ähnliche oder sogar größere Apertur in den Mikrolinsen auf. Die Anzahl der Mikrolinsen entspricht vorzugsweise der Anzahl der Bildpunkte des Bildempfängers. Zumindest ist jedoch die Gitterkonstante des Gitters und das Rastermaß des Mikrolinsen-Arrays gleich. Durch die näherungsweise übereinstimmende numerische Apertur von Aufnahmeobjektiv und Mikrolinsen wird das Licht vom Aufnahmeobjektiv nahezu vollständig, im Sinne einer guten Lichtausbeute erfaßt und nach Unendlich abgebildet. Dies gilt zumindest für achsnahe Punkte. Das telezentrische Objektiv 2 weist eine geringere numerische Apertur auf als das Aufnahmeobjektiv. Dies entspricht auch dem bekannten technischen Stand. In der Fokalebene des Abbildungsobjektivs befindet sich beispielsweise eine Kreisblende, vorzugsweise auf der optischen Achse. Damit ist die numerische Apertur für die Abbildung des Mikrolinsen-Arrays durch das Objektiv 2 vorgegeben. Das Verhältnis der numerischen Aperturen bestimmt das Tastverhältnis. Beträgt beispielsweise die numerische Apertur des Objektivs 2 nur ein Drittel der des Aufnahme-Objektivs wird von dem Gitterbild näherungsweise nur ein Drittel einer Streifenperiode auf den Bildempfänger abgebildet. So entsteht beim Scannen des Gitters gemeinsam mit dem Mikrolinsen-Array ein zeitlich moduliertes Signal in den Bildpunktes des Empfängers, vergleichbar dem Interferogramm einer breitbandigen Lichtquelle, weiterhin als Korrelogramm bezeichnet. Der Scanner ist ein Linearscanner und muß sehr präzise scannen, beispielsweise muß die Zuordnung des Weges über der Zeit bis auf wenige Nanometer genau sein. Dies hängt aber von der Aufgabe ab. Ggfs. genügt auch eine Genauigkeit von einigen Mikrometern.

Auf den Bildempfänger wird das Mikrolinsen-Array abgebildet. Durch die hohe Öffnung des Beleuchtungs- und des Abbildungsobjektivs weist das Korrelogramm vorzugsweise einen eindeutig erkennbaren Mitten-Peak auf. Das Auffinden des Mitten-Peaks, bzw. des Kontrast- Maximums wird zur Bestimmung eines Nullpunktes in z-Richtung für jeden Punkt des Körpers oder der Szene benutzt. Möglicherweise kann auch ein bestimmter Phasenwert als Kriterium genutzt werden oder eine Kopplung von Merkmalen. Die Ausprägung des Mittenpeaks nimmt mit kleiner werdendem Triangulationswinkel noch zu.

Grundsätzlich ist es beispielsweise für die Applikation dieses Verfahrens für die hochgenaue Koordinatenmeßtechnik vorteilhaft, keinen Scanner für das Gitter und das Mikrolinsen-Array einzusetzen und diese fest zu den Objektiven anzuordnen und eine Relativbewegung zwischen dem Aufnahmesystem und dem zu vermessenden Körper durchzuführen. Die z-Bewegung kann dabei durch die hochgenaue Achse einer Koordinatenmeßmaschine mit Mikrometergenauigkeit durchgeführt werden.

Für die Erzeugung von 3D-Bildern für die nichtmeßtechnische Applikation dürfte dagegen eher der vordem beschriebene Ansatz vorteilhaft ein. Auch wenn es um die Erfassung großer Volumina geht, wird der Ansatz mit dem internen Scanner als der technisch günstigere, weil schnellere angesehen.

Durch die Anwendung von Auswerte-Algorithmen auf der Basis der Erkennung von Kontrast- Maxima von Signalen in der beschriebenen Form können für den gesamten Objektraum die 3D-Koordinaten, also die Raumpunkte, errechnet werden. Diese stellen die Punktwolke dar. Zur Anwendung kommt beispielsweise die Wavelet-Transformation oder auch Phasenschiebe- Auswerte-Algorithmen.

Grundsätzlich müssen das Beleuchtungs- und das Aufnahmeobjektiv nicht unbedingt parallel angeordnet werden. Dies gilt als eine gute technische Lösung, um die Schärfeebenen zur Koinzidenz zu bringen. Wesentlich ist nur, daß die Schärfeebenen der beiden Objektive im Objektraum koinzidieren. Es müssen auch keine Ebenen sein. Die Schärfeflächen der Objektive können beliebige im Raum gekrümmte Flächen sein. Die vollständige Koinzidenz in einer möglichst Fläche ist für die schnelle Datenerfassung wegen sicher am besten. Für technische Applikationen kann aber auch bereits die Koinzidenz der Schärfeflächen in einem Teilbereich von Interesse sein. So kann die Achse des Beleuchtungsobjektivs auch eine Neigung zu der des Aufnahmeobjektivs aufweisen. Die Schärfeebenen können auch im Raum gekrümmte Schärfeflächen sein, also keine-Ebenen. In diesem Fall besitzt das Mikrolinsen-Array ggfs. auch eine gekrümmte Oberfläche. Auch kann die Gitterfläche vor dem Beleuchtungsobjektiv gekrümmt sein, bzw. Gitter und Fläche des Mikrolinsen-Arrays sind beide gekrümmt. Es gibt auch Objektive, die eine gekrümmte Schärfefläche aufweisen, beispielsweise das P-Objektiv der Fa. Jenoptik.

Das Beleuchtungsobjektiv kann weiterhin aus einer 4f-Anordnung oder einem afokalen Teleskop bestehen und das Gitter zur optischen Achse geneigt sein. Diese Anordnung ermöglicht einen größeren Triangulationswinkel und somit eine besonders hohe Empfindlichkeit für die Tiefenmessung.

Es ist auch möglich mehrere Mikrolinsen-Arrays nacheinander anzuordnen, um mehrere Punkte gleicher Phase zu erfassen. Dies ist jedoch nur für die Reduktion von Meßpunkten von Interesse, wenn ebene Oberflächen vermessen werden sollen und ermöglicht eine besonders schnelle Messung. Dagegen ist es eher von Vorteil möglichst scharf abzutasten, also in einem möglichst kleinen Ausschnitt der Körperoberfläche oder der Szene.

Ausführungsbeispiele

In der Fig. 1 wird das Verfahren in den wesentlichen Verfahrensschritten dargestellt. Die Beleuchtung der Objektoberfläche erfolgt mit einem Streifenmuster möglichst hoher Dichte, beispielsweise mit mehr als 100 Streifen. Im weiteren erfolgt ein optisches Ausdünnen der Daten mittels hier nicht dargestellter Mikrolinsen, so daß die Oberfläche wie mit einem Nadelkissen abgetastet wird. Der erfaßte Lichtfleck oder Ausschnitt aus dem Streifenfeld wird durch die einzelnen Mikrolinsen jeweils nach Unendlich abgebildet. Dabei können die Mikrolinsen in Ihrer gesamten Fläche leuchten. Dies wird als Blow-up-Effekt bezeichnet und stellt eine lichttechnische Anpassung dar. So entsteht eine nahezu vollständig leuchtende Fläche, wenn der Füllgrad des Mikrolinsen-Arrays fast 100% beträgt. Es erfolgt weiterhin eine flächenmäßige Anpassung an die Größe des Bildempfängers, der eine CCD-Matrix sein kann.

Fig. 2 zeigt die Aufnahme einer Szene. Die Beleuchtung ist nur symbolisch dargestellt. Das Aufnahmeobjektiv erfaßt die Szene. Das Aufnahmeobjektiv bildet die Szene in den Bildraum ab, wobei die Lichtverteilung in der Fokalebene des Mikrolinsen-Arrays, welches sich hier im optischen Prozessor verbirgt, nach Unendlich abgebildet wird. Der Kamera, die eine CCD-Matrix enthält, ist bereits mindestens ein eigener Prozessor zugeordnet, um eine Hochgeschwindigkeits-Signalverarbeitung zu ermöglichen. Es erscheint sinnvoll für die 3D-Video-Applikation, um beispielsweise mit bis zu 1000 Bildern pro Sekunde abzutasten. Dabei werden pro Videotakt bis zu 40 Bilder aus unterschiedlichen Tiefen des Objektraumes aufgenommen, um eine hohe Auflösung in der Tiefe zu erreichen. Auch ist es möglich, daß zwei oder drei oder noch mehr Kamerasysteme sich den Raum in der Tiefe aufteilen und so zeitlich simultan arbeiten.

Auch ist es möglich, daß das Aufnahmesystem kleiner als die erfaßte Objektoberfläche oder Szene gestaltet werden kann. So können mehrere Aufnahmesysteme parallel in Form einer Zeile oder Matrix angeordnet werden, um sehr große Körper oder Szenen in ihrer 3D-Gestalt zu erfassen, beispielsweise große Karossen oder Schiffs- oder Flugzeugteile. Natürlich bedeutet dies das Management eines außerordentlich großen Datenstromes im Multi-Mega-Byte- bis Multi-Giga-Byte-Bereich.

Auch ist es möglich, den gesamten Aufnahmekopf im Raum zum Objekt zu kippen oder um das Objekt zu drehen. Dies dient der Vermeidung von Schatten oder der 3D-Aufnahme von Innenräumen.

Fig. 3 zeigt die Abbildungstufe mit einem Aufnahmeobjektiv und dem nachgeschalteten Mikrolinsen-Array und dem diesem wiederum nachgeschalteten telezentrischen Objektiv mit Blende und der Kamera. Es ist jedoch für hochgenaue 3D-Meßaufgaben an Körpern bis maximal 0,5 m Durchmesser auch möglich, ein objektseitig telezentrisches Aufnahmeobjektiv einzusetzen.

Um die im Randbereich des Mikrolinsen-Arrays schräg vom Aufnahmeobjektiv auftreffenden Hauptstrahlen optimal zu erfassen, kann grundsätzlich mit dezentrierten Mikrolinsen gearbeitet werden. Dabei ist die Dezentrierung im Bereich der Achse null und nimmt zum Rand kontinuierlich zu.

Auch sollte die numerische Apertur der Mikrolinsen in der Regel gleich oder größer als die des Aufnahmeobjektivs sein. Auch ist es möglich, die Restverzeichnung des Aufnahmeobjektivs mit dem Mikrolinsen-Array zu korrigieren.

Es wird von Mikrolinsen mit einer numerischen Apertur in der Größenordnung von 0,3 ausgegangen. Fig. 4 zeigt wie die Mikrolinsen Bildpunkte (A') nach Unendlich abbilden. Das telezentrische Objektiv in Fig. 3 bildet das Mikrolinsen-Array innerhalb des Telezentriebereiches scharf auf die CCD-Chip-Fläche ab. Die Blende im telezentrischen Objektiv (Objektiv 2) bestimmt die effektive numerische Apertur und damit das optische Austastverhältnis.

Fig. 5 zeigt ein Objekt und das Aufnahmeobjektiv sowie zwei Beleuchtungsobjektive mit den zugehörigen Gittern. Dem Aufnahmeobjektiv ist das Mikrolinsen-Array zugeordnet. Die Rasterkonstante des Mikrolinsen-Arrays entspricht der Gitterkonstante des Gitters vor den Beleuchtungsobjektiven. Die Lichtquellen, der Scanner, und das telezentrische System sind nicht dargestellt. Das Aufnahmeobjektiv kann beispielsweise bis zu 40 l/mm verarbeiten und besitzt ein Bildfeld von über 100 mm Durchmesser.

Fig. 6 zeigt eine Mehrprojektor-Anordnung mit einem mittig angeordneten Aufnahmesystem. Mehrere Projektoren, also Beleuchtungsobjektive mit Gittern, oder ein in verschiedenen Positionen anzuordnender Projektor, beispielsweise um das Aufnahmeobjektiv drehbarer Projektor, dienen zum Ausblenden von Reflexen und zum Vermeiden von nicht erfaßten Teilen von Körpern oder in der Szene. Dabei ist die radialsymmetrische Wirkung der Mikrolinsen eines Arrays von großem Vorteil, da das Austastungsprinzip stets funktioniert. Die Ausrichtung der Streifen erfolgt vorteilhafterweise tangential. Es ist möglich, daß das Gitter für die Beleuchtung als Mikrolinsen-Array mit Zylinderlinsen ausgeführt ist.

Fig. 7 zeigt eine optische Anordnung nach dem vorgeschlagenen Verfahren.

Ein beleuchtetes Gitter, welches mit einem Mikrolinsen-Array und mit einem nicht dargestellten Linear-Scanner starr verbunden ist, wird durch ein Beleuchtungsobjektiv in den Objektraum abgebildet. Der Ort, an dem das Gitterbild entsteht, stellt die aktuelle Meßebene dar. Der Schärfebereich der Abbildung des Gitters ist in der Tiefe durch die große Öffnung des Beleuchtungsobjektivs begrenzt. In der Meßebene entsteht auf der Objektoberfläche das Bild des Gitters. Die Meßebene mit den Objektpunkten, beispielsweise mit dem Objektpunkt A, wird von einem Abbildungsobjektiv erfaßt und in den Bildraum abgebildet. Es entsteht der Bildpunkt A' in der Bildebene.

Durch das lineare Bewegen des Scanners mit dem Gitter und dem Mikrolinsen-Array wird der Objektraum durchfokussiert. Dies bedeutet, in verschiedenen Tiefen des Objektraumes entsteht das scharfe Bild des abgebildeten Gitters. Das optische System ist dabei so ausgeführt, daß die Gitterebene in die Fokalebene der Mikrolinsen scharf abgebildet wird, wenn sich in der Meßebene eine körperliche Objektfläche befindet. Dann sind die Gitterebenen, die Meßebene und die Fokalebene der Mikrolinsen optisch konjugiert.

Das Mikrolinsen-Array bildet in diesem Fall jeweils vergleichsweise sehr kleine Flächenbereiche der Objektoberfläche, die praktisch als Punkte angesehen werden, nach Unendlich ab. Die einzelnen Linsen des Mikrolinsen-Array werden durch ein Objektiv 2, welches in Richtung des Mikrolinsen-Arrays telezentrisch ausgeführt ist, auf eine CCD-Kamera abgebildet. Dabei ist das System so ausgeführt, daß der Telezentriebereich des Objektivs 2 mindestens dem Scan-Bereich des Linear-Scanners entspricht. So werden die Linsen des Mikrolinsen-Arrays faktisch selbst zu leuchtenden Objektpunkten, die scharf auf die Pixel fest angeordnete CCD-Kamera abgebildet werden. Durch die Wahl der numerischen Apertur der Mikrolinsen im Verhältnis zur Apertur des telezentrischen Objektivs 2, welche durch die Blende bestimmt wird, wird die Größe der Objektpunkte bestimmt.

Da die Objektpunkte (A) der Meßebene direkt in die Fokalebene des Objektivs 2 abgebildet wird (A''), wo sich die Blende befindet, bestimmt die Größe dieser Blende die auf der Objektoberfläche in der Meßebene erfaßte Fleckgröße. Diese liegt stets unterhalb der halben Gitterperiode des abgebildeten Gitters. So entsteht ein gut moduliertes Signal als Folge der Auslesung der Kamerapixel im Bereich der Schärfeebene, welches aber durch die Größe der relativen Öffnung von Beleuchtungs- und Abbildungsobjektiv sehr schnell wieder abklingt, so daß ein Mitten-Peak im Signal vorhanden ist.

Die Pupille der Mikrolinsen (B) wird in die Ebene der CCD-Kamera scharf abgebildet (B'). Dabei sind die Pixel der CCD-Kamera etwa in der Größe der Bilder der Mikrolinsen.

Für eine besonders hohe Genauigkeit sind die auf die Pixel der Kamera abgebildeten Mikrolinsen etwas kleiner als die Pixel. Die Anordnung ist so optimiert, daß jede Mikrolinse genau auf ein Pixel abgebildet wird.

So werden aus dem Objektraum hinreichend kleine Bereiche der Oberfläche ausgetastet, die faktisch als Punkte angesehen werden können. Mittels der Signalauswertung des Signals, welches der Form eines Weißlichtinterferogrammes sehr ähnlich ist, wird der Z0-Punkt für jeden so definierten Objektpunkt berechnet, beispielsweise aus dem Kontrastmaximum oder den Phasenwerten.

Aus der Einrechnung des aktuellen Abbildungsmaßstabes werden schließlich die x,y,z-Koordinaten für jeden so gewonnenen Punkt berechnet. Als Ergebnis entsteht die Punktwolke für den Objektraum. Damit stehen die 3D-Koordinaten des Objektraumes in digitaler Form zur Verfügung. Diese Punktwolke wird je nach Aufgabenstellung für meßtechnische Applikationen oder Aufgaben mit einer 3D-Wiedergabe verwendet.

Claims (20)

1. Anordnung zur Erzeugung einer 3D-Punktwolke für die Topometrie (3D-Videometrie) oder die 3D-Vision für Multimedia-Applikationen also für die messende und die nichtmessende Bestimmung der 3D-Gestalt von Körpern und Szenen in einem Objektraum mit einer Lichtquelle, einem Beleuchtungsobjektiv zur Abbildung einer gerasterten Struktur (Gitter oder Mikrolinsen-Array) mindestens einem Aufnahmeobjektiv, einem Körper oder einer Szene oder einem Körper und einer Szene, einem Beleuchtungsobjektiv und einer Aufnahmekamera, gekennzeichnet dadurch, daß dem Aufnahmeobjektiv bildseitig ein Array aus mikrooptischen Bauelementen oder ein gerasterter Bildempfänger zugeordnet ist und dem Array aus mikrooptischen Bauelementen oder dem gerasterten Bildempfänger ein zweites Objektiv im Bildraum zugeordnet ist.

2. Anordnung nach 1, gekennzeichnet dadurch, daß das Beleuchtungs- und das Aufnahmeobjektiv mit ihren optischen Achsen parallel angeordnet sind.

3. Anordnung nach 1 und 2, gekennzeichnet dadurch, daß die Hauptebenen von Beleuchtungs- und das Aufnahmeobjektiv in einer gemeinsamen Ebene liegen

4. Anordnung nach 1, gekennzeichnet dadurch, daß das Array aus mikrooptischen Linsen besteht und die Rasterkonstante der Konstante der gerasterten Struktur oder einem ganzzahligen Teil oder vielfachen derselben vor dem Beleuchtungsobjektiv entspricht.

5. Anordnung nach 1 und 4, gekennzeichnet dadurch, daß die Linsen refraktive Linsen sind.

6. Anordnung nach 1 und 4 bis 5, gekennzeichnet dadurch, daß das Linsenarray keinen Füllgrad von 100% besitzt, sondern Leerstellen aufweist.

7. Anordnung nach 1, gekennzeichnet dadurch, daß das zweite Objektiv zur Array-Seite telezentrisch ausgeführt ist.

8. Anordnung nach 1, 4 und 5, gekennzeichnet dadurch, die gerasterte Struktur des Beleuchtungsobjektivs und das Mikrolinsen-Arrays starr miteinander verbunden sind.

9. Anordnung nach 1, 4, 5 und 8, gekennzeichnet dadurch, daß die gerasterte Struktur vor dem Beleuchtungsobjektiv und das Mikrolinsen-Arrays gemeinsam starr mit einem Präzisions-Scanner, scannend in Richtung der optischen Achse, verbunden sind, das Beleuchtungs- und das Aufnahmeobjektiv baugleich sind, wobei die optischen Achsen parallel sind und die Hauptebenen koinzidieren.

10. Anordnung nach 1, 2, und 7, gekennzeichnet dadurch, daß das zweite Objektiv beidseitig telezentrisch ausgeführt ist, und eine Bildverkleinerung erzeugt.

11. Anordnung nach 1 und 10, daß ein weiteres Linsenarray oder ein Bildempfänger (Kamera- Chip) dem zweiten Objektiv nachgeordnet ist, die ebenfalls mit einem Linearscanner verbunden sind.

12. Anordnung nach 1, gekennzeichnet dadurch, daß das Gitter vor dem Beleuchtungsobjektiv als Mikrolinsen-Aray mit Zylinderlinsen ausgeführt ist.

13. Anordnung nach 1, gekennzeichnet dadurch, daß der gerasterte Bildempfängers nur einen effektiven Füllgrad deutlich unter 100% aufweist.

14. Anordnung nach 1 und 13, gekennzeichnet dadurch, daß sich unmittelbar vor der lichtempfindlichen Fläche des gerasterte Bildempfängers ein Liniengitter im Sinne einer Maske oder Blende befindet.

15. Verfahren zur Erzeugung einer 3D-Punktwolke für die Topometrie (3D-Videometrie) oder die 3D-Vision für Multimedia-Applikationen mit einer Beleuchtungseinrichtung mit mindestens einem einem Beleuchtungsobjektiv zur strukturierten Beleuchtung des Raumes und einer Bildaufnahmevorrichtung mit mindestens einem Aufnahmeobjektiv zur Aufnahme von Bildern aus dem Raum, gekennzeichnet dadurch, daß entweder der Tiefenschärfebereich des Beleuchtungsobjektivs der Beleuchtungseinrichtung zur strukturierten Beleuchtung des Raumes oder der Tiefenschärfebereich des Aufnahmeobjektivs der Bildaufnahmevorrichtung möglichst klein gemacht sind oder daß sowohl der Tiefenschärfebereich des Beleuchtungsobjektivs der Beleuchtungseinrichtung als auch der Tiefenschärfebereich des Aufnahmeobjektivs (also beide) möglichst klein gemacht sind und in allen Fällen wenigstens Teilbereiche der Schärfeflächen des Beleuchtungsobjektivs und möglicherweise weiterer Beleuchtungsobjektive und der Schärfefläche des Aufnahmeobjektivs und möglicherweise weiterer Aufnahmeobjektive koinzidieren, also ineinanderfallen. (Dabei wird davon ausgegangen, daß es sich sich um dünne, möglicherweise auch gekrümmte Schärfescheiben, also Volumina handelt, die umgangssprachlich als Schärfeflächen oder Schärfeebenen bezeichnet werden.)

16. Verfahren nach 1, gekennzeichnet dadurch, daß in der Bildebene des Aufnahmeobjektivs ein Array aus mikrooptischen Bauelementen oder ein gerasterter Bildempfänger eine Linearbewegung erfährt, und die Fläche des Arrays aus mikrooptischen Bauelementen oder des gerasterten Bildempfängers im Objektraum des Aufnahmeobjektivs eine reale Fläche besitzt, im Sinne der Optik eine relle Fläche.

17. Verfahren nach 1 und 2, gekennzeichnet dadurch, daß durch das lineare Scannen der Objektraum vor dem Aufnahmeobjektiv sehr schnell optisch in der Tiefe durchgescannt werden kann, so daß die jeweils scharf abgebildeten Objektpunkte des Raumes durch die strukturierte Beleuchtung ein Korrelogramm, ähnlich dem eines Zweistrahl-Interferometers mit einer spektral breitbandigen Quelle, in jedem Punkt des Arrays aus mikrooptischen Bauelementen oder des gerasterter Bildempfänger liefern.

18. Verfahren nach 1, gekennzeichnet dadurch, daß eine Relativbewegung zwischen dem Objekt oder der gesamten Szene und der Aufnahmeeinrichtung bestehend aus mindestens einem Beleuchtungsobjektiv zur strukturierten Beleuchtung des Raumes und einer Bildaufnahmevorrichtung mit mindestens einem Aufnahmeobjektiv sowie weiteren bereits genannten Komponenten, durchgeführt wird.

19. Verfahren nach 1 bis 3, gekennzeichnet dadurch, daß das Bild nach dem Aufnahmeobjektiv durch ein mikroootisches Linsenarray nach unendlich abgebildet wird und das Mikrolinsenarray selbst durch ein telezentrisches Objektiv arrayseitig telezentrisch auf einen Bildempfänger abgebildet wird.

20. Verfahren nach 1 bis 5, gekennzeichnet dadurch, daß aus den Korrelogrammen die durch Auslesung der Pixeln des gerasterten Bildempfängers für den Körper oder die gesamte Szene erzeugt werden unter Berücksichtung der optischen Abbildungsverhältnisse die x,y,z-Raum­ koordinaten errechnet werden und aus diesen mittels geeigneter Modelle Flächen- und Köpermodelle errechnet werden und diese in einer geeigneten Form zur 3D-Vision gebracht werden oder für metrische Zwecke weiterverarbeitet werden.