DE102005000614A1 - Verfahren zum elektronischen Erfassen des Erscheinungsbildes dreidimensionaler Objekte - Google Patents

Abstract

Zur elektronischen Erfassung des Erscheinungsbildes dreidimensionaler Objekte werden diese bisher vermessen und mittels von CAD-Programmen modeliert. Andere bekannte Verfahren benötigen spezielle und teure optische Gerätschaften. Das neue Verfahren soll mit handelsüblichen Gerätschaften und ohne aufwendiger Vermessung der Objekte durchführbar sein. DOLLAR A Bei dem Verfahren werden eine Mehrzahl von Abbildungen der Objekte mit einer digitalen Kamera erstellt, es werden Merkmale in diesen Abbildungen identifiziert und deren zweidimensionale Koordinaten in den Abbildungen automatisch ermittelt und daraus die dreidimensionalen Koordinaten der Merkmale berechnet. DOLLAR A Durch die Verfügbarkeit von tragbaren digitalen Kameras und Rechnern eignet sich das Verfahren neben kleinen Objekten auch zur Erfassung von weitläufigen Objekten wie großen Maschinen und Gebäuden.

Description

• Die vorliegende Erfindung bezieht sich auf ein Verfahren zur elektronischen Erfassung des Erscheinungsbildes von realen dreidimensionalen Objekten, wie es benötigt wird, um ein numerisches Modell und Ansichten der Objekte aus beliebigen Perspektiven zu erstellen.
• Nach konventionellem Verfahren werden die Objekte vermessen und die Abstände von Merkmalen der Objekte zueinander werden mit Masstäben und Winkelmessern erfasst. Die Messdaten werden dann häufig mit Hilfe von CAD Programmen in entsprechende Rechenautomaten eingegeben und elektronisch verwaltet. Im Stand der Technik ist auch eine Reihe von Verfahren bekannt, um diese Aufgabe zu Automatisieren, wie beispielsweise im Journal of Television Society, Vol 45, No. 4, pp. 453–460 (1991) beschrieben wird. Bei einem Verfahren wird auf ein Objekt ein definiertes Streifenmuster projeziert und aus den Abweichungen des auf dem Objekt resultierenden Musters davon wird das dreidimensionale Erscheinungsbild des Objektes berechnet. Bei einem weiteren Verfahren wird das Objekt gleichzeitig mit zwei oder mehr Aufnahmegeräten erfasst, wobei die Positionen der Aufnahmegeräte zueinander bekannt sind. Das dreidimensionale Erscheinungsbild des Objektes wird dann aus den zweidimensionalen Bilddaten und den bekannten Positionen der Aufnahmegeräte berechnent. In einem weiteren beschriebenen Verfahren wird das Aufnahmegerät mit einem Beschleunigungssensor gekoppelt und mit den Abbildungen des Objekts aus verschiedenen Perspektiven wird auch die position des Aufnahmegerätes erfasst. Das dreidimensionale Erscheinungsbild des Objektes wird dann aus den zweidimensionalen Bilddaten und den Positionsdaten des Auf nahmegerätes berechnet. Weitere Methoden die Position des Aufnahmegerätes wärend der Aufnahme zu erfassen werden auch in dem US Patent 6031941 beschrieben.
• Das konventionelle Vermessen von Objekten und das Eingeben der Daten in ein elektronisches Datenverarbeitungssystem ist sehr aufwendig, da im Allgemeinen eine vielzahl von manuellen Messungen nötig sind. Bekannte automatisierte Verfahren dazu erfordern auf der anderen Seite spezielle optische Gerätschaften, welche teuer sind und spezielle Kenntnisse bei der Handhabung erfordern.
• Aufgabe der Erfindung ist es ein Verfahren aufzuzeigen, welches es erlaubt mit handelsüblichen Geräten zur Erstellung von zweidimensionalen Abbildungen und handelsüblichen Rechnern das Erscheinungsbild von realen dreidimensionalen Objekten zu erfassen.
• Diese Aufgabe wird erfindungsgemäß durch die in Patentanspruch 1 angegebenen Schritte gelöst. Das beschriebene Verfahren ermöglicht es, mit einer handelsüblichen digitalen Kamera in Verbindung mit einem handelsüblichen Rechner das dreidimensionale Erscheinungsbild von realen Objekten zu erfassen. Es ist dabei weitaus schneller als das herkömmliche Verfahren des manuellen Vermessens der Objekte und der manuellen Eingabe in einen Rechenautomaten. Es entfallen auch die körperlichen Anstrengungen, die insbesondere bei der manuellen Vermessung von grösseren Objekten unabdingbar sind. Das beschriebene Verfahren ermöglicht auch eine fotorealistische Erscheinung des dreidimensionalen Models. Dieses ist nach dem Stand der Technik nur mit besonderen und teueren Gerätschaften und viel Aufwand möglich. Das beschriebene Verfahren erlaubt es auch die Bildinformationen in Echtzeit zu verarbeiten und die Entstehung des dreidimensionalen Models während der Aufnahme der Bilddaten zu überwachen, was eine hohe Effizienz bei der Aufnahme der Bilddaten ermöglicht.
• Eine vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 2 angegeben, welche es ermöglicht gut beschriebene und effiziente Algorithmen zu nutzen, welche eine geringe Rechenleistung des Rechenautomaten erfordern und eine einfache Identifikation und Zuordnung der Merkmale ermöglicht.
• Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 3 angegeben, welche eine Vereinfachung der Berechnung des Blickwinkels und der Aufnahmeposition der zweidimensionalen Abbildungen als auch der dreidimensionalen Koordinaten der Merkmale des Objekts darstellt.
• Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 4 angegeben, welche es erlaubt, beliebige Merkmale der Objekte für die Bildung des dreidimensionalen Models zu verwenden.
• Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 5 angegeben, die es erlaubt, den Oberflächen des dreidimensinalen Models fotorealistische Texturen zuzuordnen, die denen der realen Objekte entsprechen.
• Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 6 angegeben, die es erlaubt, die absoluten Abmessungen der realen Objekte und der Merkmale zu bestimmen.
• Eine weitere vorteilhafte Ausgestaltung der Erfindung ist in Patentanspruch 7 angegeben, die es erlaubt, die Entstehung des dreidimensionalen Models während der Aufnahme zu überwachen und somit eine Optimierung der Aufnahme in Echtzeit ermöglicht.
• Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden im Folgenden näher beschrieben. Es Zeigen:
• 1: Ansicht eines Objektes, welches mit einer digitalen Kamera abgebildet wird, die an einem tragbaren Rechner mit Bildschirm angeschlossen ist.
• 2: Zweidimensionale Abbildungen des Objektes aus einer ersten Perspektive.
• 3: Zweidimensionale Abbildung des Objektes aus einer zweiten Perspektive.
• 4: Abbildung der Textur einer Fläche des Ojektes, die aus den zweidimensionalen Abbildungen des Objektes berechnet wurde.
• Zum elektronischen Erfassen des dreidimensionalen Erscheinungsbildes eines Objektes (A), wird dieses in bekanter Weise aus unterschiedlichen Blickwinkeln und Positionen abgelichtet. Dabei werden eine Mehrzahl von Kameras in unterschiedlichen Blickwinkeln und Positionen um das Objekt positioniert. Bevorzugt wird das Objekt mit nur einer Kamera (B) aus unterschiedlichen Blickwinkeln und Positionen abgelichtet. Besonders bevorzugt wird das Objekt mit einer Kamera fortlaufend gefilmt, und der Blickwinkel und die Positione der Kamera kontinuierlich verändert. Soll die dreidimensionale Struktur des Hintergrundes nicht erfasst werden, ist es in einer weiteren Ausführungsform bevorzugt, die Kamera still zu halten und das Objekt zu bewegen. Zum elektronischen erfasssen des Erscheinungsbildes des objektes werden auf herkömmliche Weise fotografische Abbildungen des Objektes erstellt und anschliessend digitalisiert. Bevorzugt wird das Objekt mit einer digitalen Kamera abgelichtet, wodurch die Abbildungen gleich in elektronischer Form vorliegen. Besonders bevorzugt ist die kontinuierliche Ablichtung des Objekts mit einer digitalen Filmkamera. Diese ist vorzugsweise direkt mit einem Rechner (C) verbunden, der die Berechnung des dreidimensionalen Models durchführt. Die einzelnen Abbildungen müssen nicht das gesammte Objekt erfassen. Die 2 und 3 zeigen Beispiele von zweidimensionalen Abbildungen eines Objektes. In den Abbildungen werden Merkmale des Objekts Identifiziert. Dabei ist es wichtig, das gleiche Merkmal auf unterschiedlichen Abbildungen wiederzuerkennen und zuzuordnen. Bevorzugt ist es dabei die Identifikation und Zuordnung der Merkmale vom Anwender durchführen zu lassen. Dabei ist es bevorzugt den Anwender eine Auswahl von Abbildungen treffen zu lassen. Der Anwender markiert die Merkmale in den unterschiedlichen Abbildungen mit einem elektronischen Eingabegerät. Zu den erfindungsgemäß bevorzugten Eingabegeräten gehören die Computermaus, der Trackball, der Lightpen und die Tastatur. In einer anderen besonders bevorzugten Ausführungsform erfolg die Identifikation und Zuordnung der Merkmale automatisch durch einen Rechenautomaten. Bevorzugte Merkmale sind dabei Kanten des Objekts, welche in den Abbildungen mit Edge-Detection-Algorithmen identifiziert werden wie sie unter anderem in „Theory of edge detection", Proc. Roy. Soc. Lond., Vol B207, pp. 187–217, (1980) von Marr-Hildreth beschrieben werden. Die Schnittpunkte dieser Kanten untereinander stellen weitere besonders bevorzugte Merkmale dar. In einer weiteren bevorzugten Ausführungsform werden Pixelmuster durch Mustererkennungsalgorithmen in den unterschiedlichen Abbildungen als Merkamale identifiziert. Die zweidimensionalen Koordinaten der Merkmale des Objektes in den Abbildungen werden durch einen Rechenautomaten bestimmt. Zu den be vorzugten Bezugspunkten gehören dabei die Bildmitte oder eine der Ecken des Bildes. Als Längeneinheit wird dabei eine feststehende Abmessung der Abbildung genommen. Erfindungsgemäß bevorzugte Längeneinheiten sind dabei die Breite oder Höhe eines Pixels, die Gesammthöhe oder Breite der Abbilddung oder Bruchteile oder Vielfaches davon. Die Abstände zwischen Merkmalen des realen Objekts verändern sich nicht, werden aber durch perspektivische Kürzung in den unterschiedlichen Abbildungen unterschiedlich wiedergegeben. Dieser Sachverhalt wird mit einem Gleichungssystem ausgedrückt, mit dem die dreidimensionale Lage der Merkmale zueinander berechnet wird. Dabei ist es nötig, mindestens von sechs Merkmalen die zweidimensionalen Koordinaten aus zwei Abbildungen oder von vier Merkmalen die zweidimensionalen Koordinaten aus drei Abbildungen zu betrachten. Haben die Koordinaten der betrachteten Merkmale lineare Abhängigkeiten ist eine grössere Anzahl von Merkmalen erforderlich. In einer bevorzugten Ausführungsform der Erfindung wird das dreidimensionale Model mit Texturen versehen, die den zweidimensionalen Abbildungen entnommen werden. Dazu werden bevorzugt aus den Koordinaten von Merkmalen Transformationsformeln für die von den Merkmalen aufgespannten Flächen berechnet, die jedem Pixel der Textur eine zweidimensionale Koordinate in den Abbildungen zuordnet. Die Farbwerte der Pixel in den Abbildungen die den zweidimensionalen Koordinaten nahe liegen bestimmen den Farbwert des ensprechenden Pixels in der Textur. Bevorzugt ist es dabei über die Farbwerte aus unterschiedlichen Abbildungen für ein bestimmtes Pixel der Textur zu mitteln. Besonders bevorzugt werden dabei die Farbwerte von unterschidlichen Abbildungen in Abhängigkeit von der Darstellungsgüte der Fläche in der Abbildung gewichtet. Ein bevorzugtes Maß für die Darstellungsgüte ist dabei die Größe der Fläche in der Abbildung. In einer weiteren bevorzugten Ausführungsform der Erfindung werden die absoulten Abstände der Merkmale des realen Objekts ermittelt. Da die Abstände in dem dreidimensionalen Model in einer willkürlichen Einheit festliegen wird bevorzugterweise ein Maß geeicht und daraus alle anderen Abmessungen abgeleitet. Besonders bevorzugt ist es dabei den Anwender die reale Länge von einem Abstand zweier Merkmale angeben zu lassen. In einer weiteren ganz besonders bevorzugten Ausführungsform wird das Maß automatisch aus bekannten Abbildungseigenschaften des Aufnahmegerätes bestimmt. Diese Abbildungseigenschaften werden bevorzugt durch Aufnahme eines Objekts mit definiertem Abstand zwischen zwei Merkmalen ermittelt. Eine weitere bevorzugte Ausführungsform der Erfindung erlaubt es dem Anwender gezielt Ansichten des Objekts Abbzubilden, die zur Vervollständigung des dreidimensionalen Models nötig sind. Dazu wird das Objekt mit einer digitalen Kamera aufgenommen, welche direkt mit einem Rechenautomaten verbunden ist, an welchen ein Bildschirm angeschlossen ist. Mit dem Rechenautomaten wird in Echtzeit aus den von der Kamera gelieferten Abbildungen des Objekts das dreidimensionale Model berechnet und auf dem Bildschirm dargestellt. Besonders bevorzugt ist es dabei, dass Abschnitte des Models, die wegen fehlender Daten nicht berechnet werden können aus den vorhandenen Daten extrapoliert werden und bei der Darstellung auf dem Bildschirm kenntlich gemacht werden. Ganz besonders bevorzugt ist dabei die Darstellung des deidimensionalen Models auf dem Bildschirm als Drahtgittermodel, bei dem die extrapolierten Kanten und Ecken gekennzeichnet sind.
• Ganz Besonders bevorzugt bildet die Anordnung aus Kamera, Rechenautomat und Bildschirm eine portable Einheit. Dies erlaubt es auch weitläufige Objekte wie Innenräume von Gebäuden zu erfassen.

Claims (7)

1. Verfahren zur Erfassung des Erscheinungsbildes dreidimensionaler Objekte gekennzeichnet durch die folgenden Schritte: a) Erzeugung einer mehrzahl zweidimensionaler Abbildungen der Objekte aus verschiedenen Blickwinkeln und Aufnahmepositionen, wobei die Abbildungen in elektronischer Form erfasst werden, b) Identifikation von Merkmalen der Objekte in den zweidimensionalen Abbildungen, c) Ermittlung der zweidimensionalen Koordinaten der Merkmale der Objekte in den Abbildungen durch einen Rechenautomaten, d) Berechung der Blickwinkel und Aufnahmepositionen der Abbildungen und der dreidimensionalen Koordinaten der Merkmale der Objekte aus den zweidimensionalen Koordinaten mittels eines Rechenautomaten.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den Merkmalen der Objekte um Kanten handelt, welche automatisch mit Edge-Detection-Algorithmen erfasst werden.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, das es sich bei den Merkmalen der Objekte um Schnittpunkte von Kanten handelt, welche automatisch mit Edge-Detection-Algorithmen erfasst werden.
4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, das es sich bei den Merkmalen der Objekte um Pixelmuster handelt.
5. Verfahren nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem weiteren Schritt die Texturen des dreidimensionalen Models aus transformierten Ausschnitten der zweidimensionalen Abbildungen gebildet werden.
6. Verfahren nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem weiteren Schritt die absoluten Abmessungen zwischen Merkmalen der Objekte bestimmt werden.
7. Verfahren nach den vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass die Berechnungen während fortschreitendem Aufnehmen von Abbildungen der Objekte gemacht werden und in einem weiteren Schritt das gewonnene dreidimensionale Erscheinungsbild der Objekte in geeigneter Weise sofort dargestellt wird.