DE19755667A1 - Verfahren zur Bestimmung der geometrischen Oberflächendaten und der Oberflächeneigenschaften realer Objekte - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung der geometrischen Oberflächendaten und der optischen Oberflächen­ eigenschaften realer Objekte nach dem Oberbegriff des Patentanspruchs 1.

In der virtuellen Welt (Erfassen von dreidimensionalen Objekten zur Bearbeitung in rechnergestützten Systemen) besteht das Problem, reale Objekte in Ihren Dimensionen und Eigenschaften automatisch zu erfassen. Insbesondere komplizierte geometrische Objekte sind für heutige Verfahren nur äußerst aufwendig oder gar nicht erfaßbar.

Die bisher bekannten Verfahren verwenden zunächst Bildauf­ nahmegeräte zur zweidimensionalen Aufnahme realer Objekte. Zur Bestimmung der geometrischen Oberflächendaten und der Ober­ flächeneigenschaften realer Objekte, d. h. zur Bestimmung der Dreidimensionalität und der Oberflächenbeschaffenheit dieser Objekte sind zusätzliche Informationen notwendig, um die dritte Dimension der Objekte zu erfassen, d. h. zur normalen zweidimensionalen Bildaufnahme sind dabei noch zusätzliche 3D-Tiefen-Informationen notwendig.

Diese 3D-Tiefen-Information erhält man beispielsweise durch aktive Methoden zur Entfernungsbestimmung (taktile Verfahren mit Meßspitzen, Laserstrahlen, Ultraschall und Radar). Dabei benötigen diese Verfahren neben den Bildaufnahmegeräten zusätzliche Geräte zur Entfernungsmessung, d. h. zur Bestimmung der jeweiligen dritten (Tiefen-) Information, die den jeweiligen zweidimensionalen Pixelpunkten der Bildaufnahme zugeordnet werden. So lassen sich die dreidimensionalen Eigenschaften der untersuchten Objekte bestimmen.

Der Nachteil dieser aktiven Meßverfahren liegt in der Möglich­ keit der gegenseitigen Störung der Meßeinrichtungen. Auch ist die Verwendung zusätzlicher Geräte kostenaufwendig und die Informationen der Geräte müssen entsprechend zugeordnet werden, welches aufwendige Rechenverfahren notwendig macht. Auch ist eine Beeinflussung des Objekts durch taktile Verfahren nicht zu vermeiden.

Weiterhin sind Verfahren bekannt, die die 3D-Tiefen-In­ formation durch passive Meßmethoden ermitteln: Dabei existieren monokulare Techniken zur Rückgewinnung der 3D-Information aus zweidimensionalen Vorlagen sowie die Stereo­ bildauswertung. Beide Methoden kommen mit natürlichem Tages­ licht oder Fremdlicht aus. Auch der Einsatz von Restlicht­ verstärkern und Infrarotkameras ist möglich.

Die monokularen Verfahren zur Rückgewinnung der dreidimen­ sionalen Information einer zweidimensionalen Vorlage sind als "Shape From . . ."-Methoden bekannt:
Beim Shape From Shading - Verfahren verwendet man den Schattenwurf von Gegenständen als zusätzliche Information. Beispielsweise kann die Mondoberfläche anhand der Schattenwürfe von Mondkratern rekonstruiert werden.

Beim Shape From Texture - Shape From Contour - Verfahren werden als zusätzliche Wissensbasis (d. h. zur Bestimmung der 3D-Information) Texturen oder Konturen auf Oberflächen verwendet. Fehlen Schatten oder Texturen auf der Oberfläche des betrach­ teten Objekts, so kann man Muster auf die Oberfläche projizieren. Solche Meßverfahren mit Spaltlicht nennt man Grid Coding-Verfahren. (Streifenprojektion zur Oberflächenerken­ nung aus Wirtschaftswoche Nr. 20/8.5. 1997).

Bei diesen Verfahren ist es jedoch nicht möglich, Hinterschnei­ dungen zu erfassen. Außerdem muß sichergestellt werden, daß die Umgebungsbeleuchtung so ist, daß die projizierten Muster bzw. der Schattenwurf der Objekte erkennbar ist.

Eine weitere Möglichkeit der Berechnung von 3D-Informationen ist die Auswertung von Bilderfolgen. Aus zwei aufeinander­ folgenden Bildern kann man ein Vektorfeld ("Optical Flow Field") erzeugen, das die Veränderungen in einem Bildausschnitt wiedergibt. Es handelt sich hierbei um die zweidimensionale Abbildung des dreidimensionalen Geschwindigkeitsfeldes ("Velocity Field") einer bewegten Szene. Bei Kenntnis der Eigenbewegung der Kamera bzw. des Objektes kann hieraus die Tiefeninformation berechnet werden.

Die Auswertung der Bilderfolgen wird jedoch sehr schwierig, wenn zusätzliche Relativbewegungen zu erwarten sind. Außerdem muß die relative Position und Geschwindigkeit des Bildaufnahme­ geräts zum Objekt gemessen und dem zweidimensionalen Datensatz zugeordnet werden.

Die Aufgabe der Erfindung besteht darin, ein reales Objekt in seiner gesamten Ausdehnung im Raum dreidimensional zu erfassen. Die dreidimensionale Gestaltung, Hinterschneidungen und Ober­ flächeneigenschaften des Objekts sollen dabei schnell und ohne großen Rechenaufwand ermittelbar sein.

Das erfindungsgemäße Verfahren ist durch die Merkmale des Anspruches 1 gekennzeichnet. Weitere vorteilhafte Ausführungs­ formen sind in den Unteransprüchen beansprucht.

Mit der Erfindung werden teilweise schon bekannte Methoden der Stereobildauswertung wesentlich erweitert. Bei der Entfernungs­ messung mittels Stereobildauswertung (gleichzeitig aufgenommene Bilder zweier oder mehrerer Kameras) werden die in den Bildern enthaltenen identischen Objekte einander zugeordnet. Die Zuordnung erfolgt entweder durch Korrelationsmethoden (sehr rechenzeitintensiv) oder durch Kantenextraktion. Bei dem neuen Verfahren sollen die Tiefen-Informationen aus einer oder mehreren Stereobildauswertungen über die Positionskontrolle einer oder mehrerer Bildaufnahmegeräte in einem Datensatz gesammelt werden. Der Datensatz mit den Tiefeninformationen ergibt dann das virtuelle Abbild des realen Objekts. Somit lassen sich sowohl Hinterschneidungen als auch Oberflächen­ eigenschaften mit einer ausreichenden Anzahl von Bildern erfassen. Dabei können die Bilder auch von einer Kamera stammen, wenn sichergestellt ist, daß die jeweilige Position der Kamera erfaßt wurde (z. B. mit Positionssensoren oder über Stativgeometrien).

Ist zusätzlich die Position der Beleuchtungsquelle in der realen Szene bekannt, und wird die Bildinformation mit der zugehörigen Lageinformation verwendet, kann daraus die BDRF (Bidirectional Reflectance Distribution Function) berechnet werden. Diese Funktion lautet wie folgt:

Dadurch kann das optische Erscheinungsbild einer Oberfläche bestimmt werden, welches auf dem Verhältnis zwischen dem einfallenden Licht E und dem reflektierten Licht L in Abhängigkeit von den entsprechenden Richtungen (Θ_i, Φ_i, Θ_e, Φ_e Einfallswinkel und Ausfallswinkel in der x-y Ebene und zur x-y Ebene) beruht.

Somit ist auch der optische Oberflächeneindruck mit diesem Verfahren erfaßbar.

Das erfindungsgemäße Verfahren kann für beliebig geformte Objekte die geometrischen Oberflächendaten bestimmen. Zusätzlich zu den Oberflächendaten lassen sich mittels des Verfahrens gewonnener Daten die optischen Oberflächen­ eigenschaften mit Hilfe der BRDF (Bidirectional Reflectance Distribution Function) berechnen.

Für ein billiges und leistungsfähiges Verfahren zur Erfassung der Oberflächendaten bieten sich vielfältige Anwendungsmög­ lichkeiten wie z. B.: bei der Formoptimierung von Modellen, die Übernahme von Modellen in computergestützte CAD/CAM Systeme, Qualitätskontrolle- Erzeugung von Modellen für die Herstellung Computer animierter Filme, Virtual Reality Techniken und in der 3D Meßtechnik.

Bei dem beschriebenen Verfahren kann auf herkömmliche bildge­ bende Systeme zurückgegriffen werden, die eine kostengünstige Realisierung ermöglichen. Weiterhin bietet dieses Verfahren eine Vielzahl von Vorteilen gegenüber etablierten Techniken. Es besteht die Möglichkeit, berührungslos zu messen, Hinter­ schneidungen können ohne Probleme erfaßt werden, durch unterschiedliche Aufnahmeverfahren kann die Genauigkeit beliebig variiert werden und mit Hilfe der erhaltenen geometrischen Information und einer externen Beleuchtungsquelle lassen sich zusätzlich die optischen Oberflächeneigenschaften eines Materials bestimmen.

Erfindungsgemäß benutzt das beschriebene Verfahren bekannte bildgebende Systeme wie z. B. CCD-Kameras, um daraus drei­ dimensionale geometrische Objekte zu erzeugen. Ein oder mehrere dieser bildgebenden Systeme werden jeweils mit einem Positions­ sensor (z. B.: basierend auf Ultraschall oder elektroma­ gnetischem Prinzip) ausgerüstet. Zur Bestimmung der Oberflächendaten wird das entsprechende Objekt unter verschiedenen Blickrichtungen abgebildet. Die Anzahl der aufgenommen Objektansichten richtet sich dabei nach der Komplexität des Objekts, der gewünschten Genauigkeit und dem Auftreten von Hinterschneidungen. Die aufgenommen Bilder werden mit den korrespondierenden Positionsdaten, die das Positionssystem liefert, gespeichert. Aus der Menge der gespeicherten Bildern werden mit Hilfe der Positionsdaten Stereopaare gebildet. Unter Verwendung von etablierten Standard-Verfahren werden aus den Stereopaaren Tiefenbilder berechnet. Unter einem Tiefenbild versteht man hierbei eine 2-dimensionale Matrix die den Abstand von jedem Bildpixel zum bildgebenden System wiedergibt. Die Pixel repräsentieren hierbei entweder ein Element der Objektoberfläche oder des Hintergrundes. Da die Lage (Position) des bildgebenden Systems für jede Aufnahme bekannt ist und ebenfalls für jedes Bildpaar der Abstand des bildgebenden Systems zum Element der Objekt­ oberfläche, wie oben beschrieben, berechnet werden kann, ist somit auch die Lage der Elemente der Objektoberfläche im Weltkoordinatensystem bekannt (siehe auch Fig. 2).

Im nächsten Schritt werden die Elemente der Objektoberfläche entsprechend ihren Positionsdaten in einen 3-dimensionalen Datenwürfel einsortiert. Die Kantenlänge des Datenwürfels wird durch den jeweils minimalen und maximalen Wert der x, y, z-Koor­ dinaten aller Elemente der Objektoberfläche bestimmt. Die kleinsten Volumenelemente des Datenwürfels werden als Voxel bezeichnet. Die Anzahl der Voxel im Datenwürfel richtet sich nach der erzielten Auflösung, die wiederum von der Anzahl und dem Abstand der Stereopaare abhängig ist. Der entstandene isotrope Datensatz kann entweder direkt in weiteren Applikationen verwendet werden oder ist in einem weiteren Schritt Grundlage, um mittels 3-dimensionaler Triangulation die Oberflächendaten mit Polygonzügen zu approximieren.

Ein Element der Objektoberfläche ist in der Regel in mehreren Stereopaaren sichtbar. Die Positionsdaten eines Elements der Objektoberfläche können somit durch mehrere Stereopaare bestimmt werden. Diese redundante Information erhöht nicht nur die Genauigkeit des beschriebenen Verfahrens sondern kann auch, wie im folgenden aufgezeigt, für die Berechnung der BRDF (Bidirectional Reflectance Distribution Function) herangezogen werden. Die BRDF spielt eine grundlegende Rolle in der Computeranimation und der optischen Modellierung von Materialien. Grundlage für die Messung der BRDF ist das Verhältnis des reflektierten Lichts zum einfallenden Licht. Dieses Verhältnis ist abhängig von der Position der Lichtquelle und der Position des Betrachters.

Wird die Anordnung um eine statische Lichtquelle (d. h. die Lichtquelle wird nicht bewegt) erweitert, kann die BDRF bestimmt werden. Hierzu wird für jedes Element der Objekt­ oberfläche die relative Lage zur statischen Beleuchtungsquelle bestimmt. Da in der Regel jedes Element der Objektoberfläche von mehreren Stereopaaren sichtbar ist, werden gleichfalls verschiedene Betrachterpositionen simuliert. Wird nun die Information von sämtlichen Elementen der Objektoberfläche kombiniert, läßt sich hinreichend genau das Verhältnis des reflektierten Lichts zum einfallenden Licht in Abhängigkeit von der Position der Beleuchtungsquelle und der Position des Betrachters messen. Sollten dennoch Lücken in der BDRF entstehen, können diese durch geeignete Interpolations- und Extrapolationsverfahren angenähert werden.

Ein besonderes Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird anhand der folgenden Zeichnungen näher erläutert. Dabei zeigen:

Fig. 1 Eine Aufsicht auf ein Objekt mit bildgebendem System;

Fig. 2 Die Anordnung des bildgebenden Systems während des Aufnahmeverfahrens; und

Fig. 3 die Anordnung nach Fig. 2 bei höherer Auflösung.

Fig. 1 zeigt die Aufsicht auf ein Objekt (1) mit beliebiger Komplexität und ein bildgebendes System (2) mit Positionssensor (3).

Das bildgebende System (2) kann frei im Raum um das Objekt (1) bewegt werden. Die Bewegung des bildgebenden Systems (2) wird mit allen Freiheitsgraden (3 translatorische und 3 rotatorische) in allen Positionen über einen Positionssensor (3) erfaßt. Wird das bildgebende System auf Schlitten oder andere geeignete, auch mechanische Mittel bewegt, wird die Bewegung des bildgebenden Systems (2) um das Objekt (1) über diese - durch die schlitten oder anderen geeigneten Mitteln vorgegebenen Bahnen - erfaßt.

Fig. 2 zeigt die Anordnung des bildgebenden Systems (2), welches an drei verschiedenen Positionen (Pos. 1, Pos. 2, Pos. 3), zweidimensionale Aufnahmen des Objekts (1) aufnimmt. Jedes Oberflächenelement (4) wird dabei aus mindestens zwei verschiedenen Positionen bzw. von an diesen Positionen befindlichen bildgebenden Systemen (2) (z. B. 2 CCD-Kameras) aufgenommen. Statt der Verwendung von Positionssensoren (3) können auch Schlitten oder andere geeignete Mittel verwendet werden, mittels derer sich die genaue Position des bildgebenden Systems (2) zum Objekt (1) feststellen läßt. Diese Position wird durch x, y und z-Koordinaten im Weltkoordinatensystem, d. h. das der Anordnung zugrundeliegende Koordinatensystem, definiert.

Aus mindestens zwei Positionen (Pos. 1, Pos. 2) oder aus einem Stereopaar (Stereopaar 1) gewonnenen Bildern und der jeweils zugehörigen Positionsinformation wird die Tiefeninformation für charakteristische Punkte berechnet. Charakteristische Punkte können Kanten, Farbänderungen, Hell-/Dunkel-Übergänge, Muster oder andere Merkmale in der gewonnenen Bildinformation sein. Beispielsweise wäre der charakteristische "Punkt" eines menschlichen Gesichts die Nase, die Augen oder die Kante des unteren Kiefernknochens (charakteristische "Kante"). Diese Tiefeninformation führt zu einem Oberflächenelement (4), das in einem Volumendatensatz einsortiert wird. Aus mehreren stereopaaren (Stereopaar 1, Stereopaar 2) läßt sich das Objekt in seiner dreidimensionalen Ganzheit beschreiben und als Volumendatensatz speichern und abbilden.

Fig. 3 zeigt die Anordnung nach Fig. 2 mit einer besseren Auflösung. Zu jedem Oberflächenelement (4) werden mehrere Stereobildpaare durch die bildgebenden Systeme (2), bzw. durch verschiedene Positionen des bildgebenden Systems (2), aufgenommen.

Durch die Verwendung mehrerer Stereopaare für die Tiefeninformationsberechnung wird die Auflösung der Oberflächenelemente (4) im Volumendatensatz erhöht. Die Erhöhung der Auflösung läßt sich auch durch eine Verringerung des Abstandes zwischen dem bildgebenden System (2) (z. B. CCD-Kamera) und dem Objekt (1) erzielen.

Claims (8)

1. l. Verfahren zur dreidimensionalen Erfassung von Objekten, bei dem mit einem Bildaufnahmesystem zweidimensionale Bilder des Objekts aufgenommen werden, wobei die zweidimensionalen Bilder aus einer Vielzahl von einzelnen Bildelementen (Pixel) bestehen, dadurch gekennzeichnet,
   daß das Objekt (1) aus mindestens zwei Positionen des Bildauf­ nahmesystems (2) aufgenommen wird und die entsprechenden Bildelemente (4) eines Bildes als Bildinformationen erfaßt werden,
   daß die entsprechenden Positionen des Bildaufnahmesystems (2) erfaßt werden,
   daß die Entfernungsinformation eines jeden Bildelements (4) durch Verknüpfung der Positionsinformationen mit den zugehörigen Bildinformationen berechnet werden, und
   daß die daraus gewonnenen Entfernungsinformationen in einem Datensatz abgespeichert werden.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die entsprechenden Entfernungsinformationen der Bild­ elemente (4) mittels charakteristischer Punkte auf der Objektoberfläche ermittelt werden.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die entsprechenden Positionen des Bildaufnahmesystems (2) über Positionssensoren (3) in allen Raumrichtungen und Winkelrichtungen erfaßt werden.
4. 4. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, daß die Oberflächeneigenschaften des Objekts (1) mittels der Bildinformationen und der Positionsinformationen und der entsprechenden Entfernungsinformation eines jeden Bildelements (4) mittels der BDRF-Funktion bestimmt werden.
5. 5. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, daß jedes Bildelement (4) aus mehr als zwei Positionen des Bildaufnahmesystems (2) erfaßt wird und damit die Genauigkeit der Entfernungsinformation erhöht wird.
6. 6. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, daß ein elektromagnetischer und/oder optischer und/oder mechanischer Positionssensor (3) verwendet wird.
7. 7. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, daß als Bildaufnahmesystem (2) eine CCD-Kamera verwendet wird, die an verschiedene Positionen bewegbar ist.
8. 8. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, daß die Oberfläche des Objekts (1) mit unterschiedlichen Abständen zwischen dem Bildaufnahmesystem (2) und dem Objekt (1) erfaßt wird, so daß unterschiedliche Auflösungen erzielt werden.