DE102005043070A1

DE102005043070A1 - Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken

Info

Publication number: DE102005043070A1
Application number: DE102005043070A
Authority: DE
Inventors: Michael Trummer
Original assignee: Friedrich Schiller Universtaet Jena FSU
Current assignee: Jenoptik Robot GmbH
Priority date: 2005-09-07
Filing date: 2005-09-07
Publication date: 2007-03-08
Anticipated expiration: 2025-09-08
Also published as: DE102005043070B4

Abstract

Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken. DOLLAR A Hierzu war ein universelles, nicht probabilistisches Verfahren zu schaffen, welches aufwandgering und ohne besondere Anforderungen an die Bildaufnahme- und Auswertebedingungen zu stellen, verlässliche sowie störunanfällige, robuste Daten hoher und diesbezüglich auch bewertbarer Genauigkeit liefert. DOLLAR A Erfindungsgemäß wird mit dem Objekt (1) ein spezielles planares Viereck (6) als Referenzelement jeweils aus unterschiedlichen Kamerapositionen (2, 3) aufgenommen, dessen Eckpunkte bei der Auswertung als Bildkoordinaten sowie in vom jeweiligen Kamerastandpunkt der Bildaufnahme spezifischer 3-D-Koordinatendarstellung bestimmt werden. Daraus werden die 3-D-Kamerapositionen der Bildaufnahmen für die Vermessung bzw. Rekonstruktion des Objekts ermittelt und anhand dieser sowie der bestimmten Bildkoordinaten die Objektkoordinaten berechnet. DOLLAR A Die Erfindung dient zur 3-D-Vermessung und/oder Rekonstruktion von Objekten in beliebigen Außen- und Innenbereichen.

Description

Die Erfindung betrifft ein Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen unter minimalem Aufwand, beispielsweise zur Bildauswertung von Verkehrsstrecken. Häufig müssen von Szenarien, nicht nur bei Unfallgeschehen, geometrischen Erfassungen etc., Bilder aufgenommen werden, aus denen ein oder mehrere Einzelobjekte bzw. Bildpunkte in ihrer Position (Rekonstruktion) und/oder in ihrer relativen Lage zueinander (Vermessung) bestimmt werden, wobei eine möglichst exakte Koordinatenerfassung von entscheidender Bedeutung für den Zweck der Bildauswertung ist.
Die Anwendbarkeit der Erfindung erstreckt sich auf Rekonstruktion und Vermessung beliebiger abgebildeter Raumpunkte in Außen- wie auch Innenbereichen.

Es existieren Verfahren zur dreidimensionalen Rekonstruktion von Oberflächen, die sich der Projektion von Lichtmustern auf das zu rekonstruierende Objekt bedienen (beispielsweise DE 197 38 480 C1 ). Diese Verfahren erfordern aufwendige und teure Apparaturen, sind umständlich in Bedienung und Auswertung und erlauben im Allgemeinen nur eine ungenaue Auswertung auf Grund von Störungen der Lichtmuster sowie der Erkennung derselben in realen Umgebungen. Eine Anwendung im Außenbereich ist deshalb höchst eingeschränkt.

Weiterhin sind Verfahren bekannt (z. B. US 6,348,918 B1 ), die bei der 3D-Rekonstruktion aus digitalen Bildaufnahmen die vollständigen Projektionsmatrizen der Kameras als bekannt voraussetzen und diese in die Berechnung einbeziehen. Damit erfordert die exakte Bestimmung der vollständigen Kameramatrizen ggf. einen sehr hohen verfahrenstechnischen Aufwand (im Patent wurde auch nicht offenbart wie die vorgegebenen Matrizen zustande kommen) sowie Methoden, auf die im speziellen Fall ebenfalls nicht eingegangen wird. Zudem kommen im konkreten Fall auf Schätzung basierende iterative Verfahren zum Einsatz, die keine Aussagen über Terminierung, Genauigkeit der Berechnung, Fehleranfälligkeit und Rechenzeit zulassen.

Es sind auch Verfahren bekannt (z. B. EP 1 098 268 A2 ), in denen eine auf einer Vorrichtung nur in bestimmten Richtungen bewegliche Kamera genutzt wird, um mehrere Aufnahmen und Informationen über die Kamerapositionen zu erhalten. Diese erfordern neben der Kamera eine zusätzliche Apparatur, die zudem sehr exakt arbeiten muss und deren Parameter sich sehr genau bestimmen lassen müssen, wodurch insbesondere ein hoher technisch-ökonomischer und Installationsaufwand entsteht. Außerdem ist diese Methode der 3D-Vermessung/-Rekonstruktion bei größeren Abständen (etwa in Außenbereichen) zwischen Messobjekt und Kamera sehr ungenau, da die Disparitäten korrespondierender Bildpunkte zu gering und damit sehr anfällig gegenüber Störungen sind.

Des weiteren lassen einige Verfahren (beispielsweise WO 99/36884) 3D-Vermessung nur sehr eingeschränkt zu. Im konkreten Beispiel muss die zu vermessende Strecke gar kollinear zu einer Strecke bekannter Länge sein, was für allgemeine Vermessungsaufgaben nicht praktikabel ist.

Andere Verfahren (z. B. Z. Zhang: A flexible new technique for camera calibration – IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22(11), 2000, S. 1330–1334) verwenden iterative nicht-lineare Optimierung zur Berechnung der externen Kameraparameter und liefern somit Ergebnisse ohne Aussagen über deren Genauigkeit bzw. Güte.

Der Erfindung liegt die Aufgabe zu Grunde, ein universell anwendbares und schnelles nicht probabilistisches Verfahren zur 3D-Vermessung und/oder -Rekonstruktion von Objekten zu schaffen, welches mit geringem ökonomischen und verfahrenstechnischen Aufwand, insbesondere einfach zu realisierenden Bildaufnahme- und Auswertebedingungen ohne besondere Anforderungen an die Objekte, verlässliche sowie gegen Störungen bei der Bildaufnahme weitgehend unempfindliche (robuste) Daten hoher und diesbezüglich auch bewertbarer Genauigkeit liefert.

Erfindungsgemäß wird in die durch Kameraaufnahmen zu erfassende Szene (Objektansicht) ein spezielles planares Viereck, beispielsweise ein Quadrat, als Referenzelement mit bekannter Geometrie eingefügt, welches gemeinsam mit dem zu vermessenden bzw. zu rekonstruierenden Objekt zwecks dreidimensionaler Auswertung aus verschiedenen Blickwinkeln (Kamerapositionen) aufgenommen wird.

Bei der Auswertung dieser einzelnen digitalen Bilder werden jeweils die Eckpunkte des besagten planaren Vierecks als Bildkoordinaten sowie in vom jeweiligen Kamerastandpunkt der Bildaufnahme spezifischer 3D-Koordinatendarstellung bestimmt. Aus diesen vom jeweiligen Kamerastandpunkt der einzelnen Bildaufnahme betrachteten 3D-Koordinaten werden unter Berücksichtigung zumindest zweier Bilder vom Objekt die 3D-Kamerapositionen der Bildaufnahmen als Grundlage für die an sich bekannte rechentechnische Auswertung der dreidimensionalen Vermessung bzw. Rekonstruktion des Objekts ermittelt.

Mit dem vorgeschlagenen Verfahren gelingt es, eine metrische 3D-Vermessung mit absolut minimaler Interaktion am Einsatzort und bei der Nachbereitung am Rechner zu realisieren und dabei mathematisch stabile sowie gegen Fehler robuste Ergebnisse zu liefern, die im Hinblick auf Ihre Genauigkeit bewertbar sind. Erreicht wird dies durch eine semantisch zweckmäßige Separierung des Problems (monokulare Rekonstruktion-Euklidische Transformation-Rekonstruktion). Infolge dieser Aufgliederung erhält man mathematisch und vom Verfahrensaufwand jeweils bestmöglich beherrschbare Teilprobleme, kann diese direkt und stabil lösen (jeweils Lösungen im Sinne kleinster Fehlerquadrate) und beherrscht damit das gesamte Verfahren, welches somit hochgenau und unempfindlich gegen Störungen ist. Erforderliche Eingangsgrößen, wie Kameraparameter und Koordinaten des Vierecks, müssen nur einmal, sofern nicht durch Herstellerangaben bekannt, im Labor ermittelt werden (Kalibrierung). Die Interaktion am Vermessungs- bzw. Rekonstruktionsort beschränkt sich auf das Platzieren des besagten Referenzelementes (planares Viereck), so dass neben dem Bedienungsaufwand (Handling) auch der technische Aufwand minimal ist. Das Verfahren ist universell einsetzbar, sowohl im Außen- wie im Innenbereich, und stellt keinerlei Bedingungen an das zu vermessende bzw. zu rekonstruierende Objekt.

Die Erfindung soll nachstehend anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert werden.
Die Figur zeigt die Bildaufnahme einer auszuwertenden Szene, insbesondere eines in dieser zu vermessenden bzw. zu rekonstruierenden Objekts 1 jeweils aus verschiedenen Kamerapositionen 2, 3 (Bildaufnahmen des Objekts 1 aus unterschiedlichen Blickwinkeln). Im Überschneidungsbereich der durch Strahlengänge 4 bzw. 5 dargestellten Blickfelder der beiden aufzunehmenden Bilder ist eine dreidimensionale Auswertung möglich.
In diesen durch die Strahlengänge 4 und 5 begrenzten gemeinsamen Szenenbereich der Bildaufnahmen wird erfindungsgemäß ein planares Viereck 6 als Referenzelement mit bekannter Geometrie platziert, welches gemeinsam mit dem Objekt 1 aus jeder Kameraposition 2, 3 durch eine aus Übersichtsgründen nicht dargestellte Kamera aufgenommen wird. Im dargestellten Beispiel wird das Referenzelement durch ein planares Quadrat realisiert. Dieses wird in relativer Lage so in den besagten Szenenbereich eingefügt, dass die Kamera zur späteren exakten Koordinatenbestimmung der in den auszuwertenden digitalen Bildern zu erfassenden Eckpunkte desselben bei der Bildaufnahme aus den Kamerapositionen 2, 3 jeweils möglichst steil auf das planare Viereck 6 gerichtet ist.
Nach Aufnahme des Szenenbereiches einschließlich des Referenzelements in mindestens zwei digitalen Bildaufnahmen erfolgt die Auswertung derselben am Rechner. Dazu werden in den Bildaufnahmen die Bildpunkte der Eckpunkte des planaren Vierecks 6 und die Bildpunkte der zu rekonstruierenden bzw. zu vermessenden Punkte durch manuelle Anwahl oder teilautomatisiert mit Hilfe von farbigen Markierungen der Eckpunkte des planaren Vierecks 6 ermittelt. Mit den Bildkoordinaten der Eckpunkte des planaren Vierecks 6 und dessen bekannter Geometrie als Eingaben werden über die monokulare Rekonstruktion (vgl. K. Voss, R. Neubauer, M. Schubert: Monokulare Rekonstruktion für Robotvision – Verlag Shaker, Aachen, 1995, S.76 ff.) die 3D-Koordinaten dieser Eckpunkte, bezogen auf das Kamerazentrum, euklidisch hergestellt. So erhält man je Bildaufnahme die exakten 3D-Eckpunktkoordinaten des planaren Vierecks 6 bezogen auf das jeweilige Kamerazentrum, indem man lediglich drei unkomplizierte lineare Gleichungssysteme löst. Mit diesen bildbezogenen 3D-Koordinaten der Eckpunkte des planaren Vierecks 6 lässt sich für je zwei Bilder eine Transformation berechnen, welche die 3D-Punktkorrespondenzen zwischen den Kameras nur durch Rotation und Translation ineinander überführt. Da in der Praxis immer Störungen auftreten, wird diese Transformation mit der Methode von Walker und Shao (M. W. Walker, L. Shao, R. A. Volz: Estimating 3D location parameters using dual number quaternions – Computer Vision, Graphics and Image Processing: Image Understanding, Vol. 54, 1991, S. 358–367) als beste Lösung im Sinne kleinster Fehlerquadrate bestimmt. Hierbei wird eine Repräsentation der Transformation mit dualen Einheitsquaternionen verwendet, die darin resultiert, dass für die optimale Lösung lediglich der Eigenvektor zum größten Eigenwert einer bestimmten Matrix ermittelt werden muss, also in der Lösung eines Eigenwertproblems, welches voll beherrschbar ist. Hat man diese Transformation (Rotation und Translation) zwischen den 3D-Punktkorrespondenzen zweier Aufnahmen bzw. Kameras ermittelt, dann sind dies gleichzeitig die Parameter für Rotation und Translation zwischen den Kameras, also deren externe Parameter. So setzt man ohne Beschränkung der Allgemeinheit das Zentrum des Weltkoordinatensystems in das Projektionszentrum der ersten Kamera und berechnet mit der erwähnten Methode Rotation und Translation der zweiten Kamera (oder bei mehreren Kameras jeder weiteren) bezüglich der ersten Kamera. Durch diese Berechnung sind die externen Parameter und somit die vollständigen Abbildungsmatrizen der Kameras bestimmt. Daraus kann unter Verwendung der Bildpunkte des oder der zu vermessenden bzw. zu rekonstruierenden Raumpunkte mit Standardverfahren (beispielsweise R. Hartley, A. Zisserman: Multiple View Geometry in Computer Vision, Second Edition – Cambridge University Press, Cambridge, 2002, S. 312 ff.) die Position des bzw. der entsprechenden Punkte im 3D-Raum durch an sich bekannte Triangulation berechnet werden, wozu lediglich die Singulärwertzerlegung einer Matrix durchgeführt werden muss, um wiederum die beste Lösung im Sinne der kleinsten Fehlerquadrate (aber hier für die 3D-Koordinaten) zu erhalten.
Die eingesetzten mathematischen Verfahren (Lösung linearer Gleichungssysteme, Lösung eines Eigenwertproblems einer Matrix, Singulärwertzerlegung einer Matrix) sind voll beherrschbar, direkt zu lösen und stabil. Es wird, wie beschrieben, jeweils die beste Lösung im Sinne kleinster Fehlerquadrate berechnet.
Sind die 3D-Koordinaten des oder der gesuchten Raumpunkte ermittelt, können auf einfache Weise bei Vermessung zwischen zwei Raumpunkten der Euklidische Abstand berechnet oder im Fall einer Rekonstruktion die 3D-Koordinaten erhalten werden.

1: Objekt
2, 3: Kameraposition
4, 5: Strahlengang
6: planares Viereck

Claims

Verfahren zur hochgenauen dreidimensionalen Vermessung und/oder Rekonstruktion von Objekten mit Hilfe digitaler Bildaufnahmen, beispielsweise zur Bildauswertung von Verkehrsstrecken, bei dem mit einer vor Erstanwendung einmalig hinsichtlich der Parameter zu kalibrierenden Kamera zumindest zwei digitale Bilder von dem Objekt unter gleichzeitiger Abbildung eines in die Objektansicht eingefügten Referenzelementes bekannter Geometrie aus unterschiedlichen Kamerapositionen aufgenommen werden, bei welchem in der Auswertung der aufgenommenen Bilder vom Objekt für dessen dreidimensionale Vermessung bzw. Rekonstruktion jeweils das Referenzelement bestimmt wird, bei dem in den aufgenommenen Bildern jeweils der oder die Bildpunkte des oder der auszuwertenden Raumpunkte sowie anschließend unter Berücksichtigung der ermittelten dreidimensionalen Kamerapositionen der aufgenommenen Bilder der oder die auszuwertenden Raumpunkte selbst bestimmt werden und bei dem im Falle der Rekonstruktion des Objekts die 3D-Koordinaten des oder der auszuwertenden Raumpunkte bzw. im Falle der Vermessung der oder die ermittelten Abstände zwischen den auszuwertenden Raumpunkten berechnet werden, dadurch gekennzeichnet, dass zur Aufnahme der zumindest zwei digitalen Bilder vom Objekt ein planares Viereck als Referenzelement in die Objektansicht eingefügt wird, dass bei der Auswertung der aufgenommenen digitalen Bilder die Bildkoordinaten der Eckpunkte des jeweils abgebildeten planaren Vierecks bestimmt werden, dass von jedem aufgenommenen digitalen Bild die Positionen der Eckpunkte des planaren Vierecks in jeweils vom Kamerastandpunkt der Bildaufnahme spezifischer 3D-Koordinatendarstellung ermittelt werden und dass aus diesen jeweils vom Kamerastandpunkt der Bildaufnahmen spezifischer 3D-Koordinaten der Eckpunkte des planaren Vierecks die dreidimensionalen Kamerapositionen der Bildaufnahmen ermittelt werden.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass zur automatischen und exakten, in den digitalen Bildern subpixelgenauen, Bestimmung der Eckpunkte des planaren Vierecks dessen Ecken vorzugsweise farbig oder als Helligkeits- bzw. Graustufenwert markiert sind.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass als planares Viereck ein Quadrat, beispielsweise mit 1m-Kantenlänge, vorgesehen ist.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die Lage des in die Objektansicht einzufügenden planaren Vierecks und/oder die Kamerapositionen für die Bildaufnahmen des Objekts so gewählt werden, dass die Kamera zur exakten Koordinatenbestimmung der in den auszuwertenden digitalen Bildern zu erfassenden Eckpunkte des planaren Vierecks bei der Bildaufnahme jeweils möglichst steil auf das planare Viereck gerichtet ist.
Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass sich die Kamerapositionen zur Aufnahme der zumindest zwei digitalen Bilder vom Objekt in der Lage ihrer auf das Objekt gerichteten optischen Achse jeweils um einen Winkel von wenigstens 30° unterscheiden.