DE102007032471A1 - Verfahren und Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung (1) zur Bestimmung der Lage eines Kamerasystems (2) relativ zu einem Objekt, wobei das Objekt außerhalb des Blickfeldes des Kamerasystems (2) angeordnet ist, mittels mindestens einem Spiegel (4), wobei die Lageparameter des Spiegels (4) bekannt sind und/oder durch mindestens drei an dem Spiegel (4) angeordnete Spiegelmarken (5) ermittelbar sind, wobei das Objekt mindestens teilweise durch den Spiegel (4) in das Kamerasystem (2) gespiegelt wird, eine Abbildungsfunktion aufgestellt wird, die die Abbildung eines Objektpunktes in den Bildspeicher (9) des Kamerasystems (2) beschreibt, wobei mittels numerischer Lösungsansätze die unbekannten Größen der Abbildungsfunktion bestimmt werden und daraus die Lage zwischen Kamerasystem (2) und Objekt bestimmt wird.

Description

• Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt, wobei das Objekt außerhalb des Blickfeldes des Kamerasystems angeordnet ist.
• Prinzipiell bestehen verschiedene Möglichkeiten, die Lage eines Kamerasystems relativ zu einem Objekt zu bestimmen.
• Eine prinzipielle Möglichkeit besteht darin, unter Verwendung von Spezifikationen und Konstruktionsdaten wie beispielsweise Brennweite, Lage des optischen Sensors im Gehäuse und Lage des Gehäuses zum Objekt die Lage zu bestimmen. Eine solche Vorgehensweise scheitert am häufigsten daran, dass wichtige Daten nicht oder nur ungenau bekannt sind. Beispielsweise wird für Kameras in Massenproduktionen der Hauptpunkt nie und die Brennweite des Objektivs nur ungenau angegeben. Außerdem sind innerhalb gewisser Toleranzen Montagefehler unvermeidlich. Dieser Weg eignet sich daher bestenfalls, um einen initialen Schätzwert zu ermitteln.
• Eine weitere Möglichkeit besteht in der aufwändigen Vermessung der Relativgeometrie mit Präzisionsmessmitteln, beispielsweise mittels Laser-Triangulation, wobei hier jedoch nur die Lage vom Kameragehäuse zum Objekt bestimmt werden kann, nicht jedoch innere Parameter der Kamera (wie beispielsweise Verzeichnung oder Brennweite) oder die Lage des optischen Sensors.
• Weiter sind photogrammetrische Kalibrierungen und Selbstkalibrierung bekannt, die jedoch voraussetzen, dass das Objekt sich im Blickfeld des Kamerasystems befindet.
• Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt zu schaffen, wobei das Objekt außerhalb des Blickfeldes des Kamerasystems angeordnet ist, die einfacher in der Handhabung sind.
• Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 7. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
• Hierzu wird mindestens ein Spiegel benutzt, wobei die Lageparameter des Spiegels bekannt sind und/oder durch mindestens drei an dem Spiegel angeordnete Marken (nachfolgend Spiegelmarken genannt) ermittelbar sind, wobei das Objekt mindestens teilweise durch den Spiegel in das Kamerasystem gespiegelt wird, eine Abbildungsfunktion aufgestellt wird, die die Abbildung eines Objektpunktes in den Bildspeicher des Kamerasystems beschreibt, wobei mittels numerischer Lösungsansätze die unbekannten Größen der Abbildungsfunktion bestimmt werden und daraus die Lage zwischen Kamerasystem und Objekt bestimmt wird. Vereinfacht ausgedrückt wird durch den Spiegel erreicht, dass die Ansätze für eine photogrammetrische Kalibration Anwendung finden können. Das Kamerasystem erfasst sowohl das Spiegelbild des Objekts als auch die Spiegelmarken. Vorzugsweise mit Methoden der digitalen Bildverarbeitung werden in dem oder den Kamerabildern die Bildkoordinaten von Bezugspunkten des Objekts und der Spiegelmarken lokalisiert. Diese bilden die Messwerte, aus welchen mit Standardmethoden der analytischen Photogrammetrie optimale Schätzungen für die Relativlagen des Spiegels und die gesuchte Relativlage des Kamerasystems bezüglich des Objekts abgeleitet werden. Die für die numerischen Ansätze notwendigen Startwerte können beispielsweise über grobe Konstruktionsdaten der Vorrichtung oder über analytische Verfahren der Photogrammetrie ermittelt werden. Dabei muss weder die Lage des Spiegels a priori bekannt sein, noch wird a priori Wissen über die Kamera- und Montageparameter vorausgesetzt. Sind diese Daten allerdings bekannt, vereinfacht dies den Schätzungsvorgang für die Relativlage. Dabei sei angemerkt, dass Lage bzw. Lageparameter als Sammelbegriff für Position und Orientierung in einem Bezugskoordinatensystem verstanden wird. Für die mathematische Darstellung gibt es eine Vielzahl von Möglichkeiten. Zwei häufig verwendete sind die Angabe von sechs Parametern (drei Winkel und drei Strecken) oder die Angabe einer Transformationsmatrix. Das Kamerasystem umfasst mindestens eine Kamera und die dazugehörigen Einrichtungen zur Bildauswertung zur Durchführung von Bildmessungen. Unter Spiegelmarken werden einfache Marken verstanden, die fest an/auf einem Spiegel befestigt sind, beispielsweise handelsübliche Zielmarken, wie sie in der Photogrammetrie verwendet werden. Die Spiegelmarken sind dabei derart gestaltet, dass diese im Kamerabild leicht identifiziert und lokalisiert werden können.
• Vorzugsweise sind an dem Spiegel mindestens vier Spiegelmarken angeordnet, da dies die Lageermittlung des Spiegels verbessert. Vorzugsweise ist die Form und die relative geometrische Anordnung der Spiegelmarken am Spiegel a priori bekannt.
• Weiter vorzugsweise werden mehrere Aufnahmen durchgeführt, wobei zwischen den Aufnahmen die Relativlage zwischen Objekt und/oder Kamerasystem zum Spiegel verändert wird, d. h. der Spiegel und/oder das Objekt und/oder das Kamerasystem können bewegt werden. Vorzugsweise wird jedoch der Spiegel verschwenkt und Objekt und Kamerasystem bleiben unverändert. Mehrere Aufnahmen kommen zur Anwendung, wenn die Lage des Spiegels oder der Spiegelmarken nicht a priori bekannt ist und/oder keine a priori Kenntnisse über das Objekt vorhanden sind. Mehrere Aufnahmen verbessern im Allgemeinen aber immer die Genauigkeit der Schätzung, so dass mehrere Aufnahmen auch zur Anwendung kommen können, wenn einzelne a priori Kenntnisse vorhanden sind.
• In einer weiteren bevorzugten Ausführungsform ist das Objekt ein Bildschirm, wobei vorzugsweise auf dem Bildschirm während des Verfahrens ein Kalibriermuster dargestellt wird. Unter Bildschirm wird allgemein ein optisches Ausgabemedium für Computer wie beispielsweise Display, Monitor, Beamer, Projektor oder ähnliches verstanden. Die Abmessungen des Kalibriermusters sind dabei vorzugsweise a priori bekannt.
• In einer weiteren bevorzugten Ausführungsform umfasst das Kamerasystem mindestens zwei zueinander kalibrierten Kameras, die ein Stereokamerapaar bilden. Dies schließt nicht aus, dass noch weitere Kameras vorhanden sind.
• Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Fig. zeigen:
• 1 eine schematische Darstellung einer Vorrichtung zur Bestimmung der Lage eines Kamerasystems relativ zu einem Objekt und
• 2 eine Prinzipskizze der räumlichen Anordnung sowie der strahlengeometrischen und rechnerischen Abbildungen.
• In der 1 ist schematisch eine Vorrichtung 1 zur Bestimmung der Lage eines Kamerasystems 2 relativ zu einem Objekt, das als Display 3 ausgebildet ist, dargestellt. Dabei liegt das Display 3 nicht im Blickfeld des Kamerasystems 2. Vorzugsweise sind das Kamerasystem 2 und das Display 3 fest miteinander verbunden. Auf dem Display 3 ist ein Kalibriermuster in Form eines Schachbrettmusters dargestellt. Des Weiteren umfasst die Vorrichtung 1 einen Spiegel 4, der derart zu dem Kamerasystem 2 und dem Display 3 positioniert ist, dass dieser Abbildungen des Displays 3 (hier das Kalibriermuster) in das Kamerasystem 2 spiegelt. Auf dem Spiegel 4 sind vier Spiegelmarken 5 in Form von Zielmarken angeordnet, die an den Eckpunkten des Spiegels 4 angeordnet sind. Diese Spiegelmarken sind Fixpunkte auf dem Spiegel 4. Des Weiteren ist der Spiegel 4 beispielsweise mit einer Verstelleinrichtung verbunden, mittels derer die Lage des Spiegels 4 verändert werden kann. Der Spiegel 4 kann aber auch manuell gehalten und verstellt werden.
• In der 2 sind schematisch die räumliche Anordnung sowie die strahlengeometrischen und rechnerischen Abbildungen dargestellt. Dabei stellt P einen Datenpunkt des Kalibriermusters in einem Grafikspeicher 6 des Displays 3 dar, der als reeller Bildpunkt P' von P auf dem Display 3 dargestellt wird. Dieser reelle Bildpunkt P' wird durch den Spiegel 4 in die Kamerabildebene 7 gespiegelt, wobei P'' das virtuelle Spiegelbild von P' und Q ein Fixpunkt auf dem Spiegel 4 dargstellt. Q' stellt dann den Bildpunkt von Q in der Kamerabildebene 7 und P''' den Bildpunkt von P'' in der Kamerabildebene dar. Hinter der Kamerabildebene 7 liegt dann der Brennpunkt 8 der Optik des Kamerasystems 2. P'''' und Q''' sind dann Datenpunkte von P''' bzw. Q'' in einem Kamerabildspeicher 9. Die beiden rechnerischen Abbildungen vom Grafikspeicher 6 auf das Display 3 bzw. aus der Kamerabildebene 7 in den Kamerabildspeicher 9 sind dabei gestrichelt dargestellt.
• Es wird nun ein abstraktes Kalibriermuster (Daten im Grafikspeicher 6) mit bekannten Abmessungen in der Einheit Pixel vorausgesetzt. Die Abbildung dieses Musters erfolgt über das Display 3, den Spiegel 4, das Kamerasystem 2 und schließlich in den Kamerabildspeicher 9. Dort liegt das Bild wieder in digitaler Form vor. Die Abbildung vom Grafikspeicher 6 auf das Display 3 ist in der Regel eine lineare Abbildung und kann als bekannt angenommen werden. Die Abbildungen des Spiegelbildes und der Spiegelmarken in das Kamerasystem 2 hängen von äußeren Parametern (Lageparametern) und inneren Parametern (z. B. Brennweite und Verzeichnung des Objektivs des Kamerasystems 2) ab. Vorzugsweise werden die inneren Parameter vorab bestimmt und sind dann für die weitere Berechnung bekannt.
• Nachfolgend wird ein mathematisches Modell angegeben, das als Grundlage der analytischen Identifizierung der Lageparameter verwendet werden kann. Dafür werden die folgenden Bezeichnungen verwendet:

_Gp

Ortsvektor des Datenpunktes P in (homogenen) Grafikspeicherkoordinaten

_Kp

Ortsvektor des virtuellen Punktes P''' in Kamerakoordinaten

_Bp

Ortsvektor des Datenpunktes P'' in Bildspeicherkoordinaten

_Sq

Ortsvektor des Spiegelpunktes Q in (homogenen) Spiegelkoordinaten

_Kq

Ortsvektor des Spiegelpunktes Q in Kamerakoordinaten

_Bq

Ortsvektor des Datenpunktes Q'' in Bildspeicherkoordinaten

_KT^S

Transformationsmatrix: Spiegel → Kamera

_KT^D

Transformationsmatrix: Display → Kamera

_SS^S

Matrix der Spiegelung eines reellen Punktes P' in dessen virtuellen Punkt P''

_DK^G

Matrix der Abbildung Grafikspeicher → Display

_BK^K

Matrix der linearen Abbildung Kamerabildebene → Bildspeicher

_ST^K

Transformationsmatrix von Kamera → Spiegel

ν

Parameter der nichtlinearen Abbildung in die Kamerabildebene (Verzeichnungsparameter)

f(...)

Funktion, welche die Abbildungseigenschaft der Optik beschreibt.

i

Index für Bezugspunkte des Kalibriermusters i = 1...L

j

Index für Bezugspunkte der Spiegelmarken j = 1...M

k

Index für Lagen des Spiegels k = 1...N

• Modell: Bpi,k = BKK f(KTSk SSS STKk KTD DKG Gpi,k, ν) mit STKk =(KTSk )–1 (1) Bqj,k = BKK f(KTSk Sqj,k, ν) (2)
• Mit L Bezugspunkten des Kalibriermusters, M Bezugspunkten der Spiegelmarken und N verschiedenen Spiegellagen erhält man ein Gleichungssystem aus 2(L + M)N nichtlinearen Gleichungen. Wird die Anordnung der Spiegelmarken als bekannt angenommen, besteht das mathematische Problem nun darin, unter Verwendung der Messwerte das Gleichungssystem nach den unbekannten Parametern (_KT^D, _KT S / k und ν) im Sinne eines minimalen Fehlers zu lösen. Dafür stellt die numerische Mathematik die Methoden und Programme (Ausgleichsrechnung, numerische Optimierung) zur Verfügung. Als Ergebnis erhält man die Relativlage zwischen dem Kamerasystem und dem Display, dargestellt durch die Transformationsmatrix _KT^D = (_KT^D)^–1.
• Es versteht sich dabei, dass die Genauigkeit der Schätzung der Lageparameter mit der Anzahl der Aufnahmen in verschiedenen Spiegellagen sowie mit der Anzahl der Messungen je Aufnahme sich verbessert und mit a priori Kenntnissen beispielsweise über die Verzeichnung sich erleichtert.
• Besteht das Kamerasystem 2 aus einem mit herkömmlichen Mitteln kalibrierten Stereo-Kamerapaar, so können die Raumkoordinaten _KP_{i , k} und _Kq_i,k des Spiegelbilds und der Spiegelpunkte mittels Triangulation unmittelbar im Koordinatensystem des Kamerasystems bestimmt werden. Dadurch reduziert sich das Modell wie folgt: Kpi,k = KTSk SSS STKk KTD DKG Gpi,k mit STKk = (KTSk )–1 (3) Kqj,k = KTSk S (4)
• Somit ist prinzipiell mit einer Aufnahme die Lage des Spiegels 4 und des Displays 3 bestimmbar. Wird der Spiegel darüber hinaus exakt positioniert, d. h. dass die Lage des Spiegels als bekannt angenommen werden kann, dann werden die Spiegelmarken nicht mehr benötigt und es reicht die Aufnahme mit nur einer Spiegellage (N = 1) und das Modell vereinfacht sich weiter zu: Kpi,k = KTS SSS STK KTD DKG Gpi,k mit STK = KTS (5)so dass man die unbekannte Lage auf einfache Weise (z. B. Pseudoinverse) errechnen kann.
• Entsprechend vereinfacht sich das Modell auch für Kamerasystem 2 mit nur einer Kamera, wenn die Spiegellage a priori bekannt ist.
• Bevorzugte Anwendungen der Erfindung sind beispielsweise autostereoskopische Vorrichtungen, Web-Kameras oder on-board-Kamerasysteme in Kraftfahrzeugen.

Claims (12)

1. Verfahren zur Bestimmung der Lage eines Kamerasystems (2) relativ zu einem Objekt, wobei das Objekt außerhalb des Blickfeldes des Kamerasystems (2) angeordnet ist, mittels mindestens einem Spiegel (4), wobei die Lageparameter des Spiegels (4) bekannt sind und/oder durch mindestens drei an dem Spiegel (4) angeordnete Spiegelmarken (5) ermittelbar sind, wobei das Objekt mindestens teilweise durch den Spiegel (4) in das Kamerasystem (2) gespiegelt wird, eine Abbildungsfunktion aufgestellt wird, die die Abbildung eines Objektpunktes in den Bildspeicher (9) des Kamerasystems (2) beschreibt, wobei mittels numerischer Lösungsansätze die unbekannten Größen der Abbildungsfunktion bestimmt werden und daraus die Lage zwischen Kamerasystem (2) und Objekt bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mindestens vier Spiegelmarken (5) auf dem Spiegel (4) angeordnet sind.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass mindestens zwei Aufnahmen durchgeführt werden, wobei zwischen den Aufnahmen die Relativlage zwischen Objekt und/oder Kamerasystem (2) zum Spiegel (4) verändert wird.
4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Objekt ein Bildschirm ist.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass auf dem Bildschirm während des Verfahrens ein Kalibriermuster dargestellt wird.
6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Kamerasystem (2) mindestens ein kalibriertes Stereo-Kamerapaar umfasst.
7. Vorrichtung (1) zur Bestimmung der Lage eines Kamerasystems (2) relativ zu einem Objekt, wobei das Objekt außerhalb des Blickfeldes des Kamerasystems (2) angeordnet ist, umfassend mindestens einem Spiegel (4), wobei die Lageparameter des Spiegels (4) bekannt sind und/oder durch mindestens drei an dem Spiegel (4) angeordnete Spiegelmarken (5) ermittelbar sind, wobei das Objekt mindestens teilweise durch den Spiegel (4) in das Kamerasystem (2) gespiegelt wird, eine Abbildungsfunktion aufgestellt wird, die die Abbildung eines Objektpunktes in den Bildspeicher (9) des Kamerasystems (2) beschreibt, wobei mittels numerischer Lösungsansätze die unbekannten Größen der Abbildungsfunktion bestimmt werden und daraus die Lage zwischen Kamerasystem (2) und Objekt bestimmt wird.
8. Vorrichtung nach Anspruch 7, dadurch gekennzeichnet, dass mindestens vier Spiegelmarken (5) auf dem Spiegel (4) angeordnet sind.
9. Vorrichtung nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass mindestens zwei Aufnahmen durchgeführt werden, wobei zwischen den Aufnahmen die Relativlage zwischen Objekt und/oder Kamerasystem (2) zum Spiegel (4) verändert wird.
10. Vorrichtung nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das Objekt ein Bildschirm ist.
11. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass auf dem Bildschirm ein Kalibriermuster dargestellt ist.
12. Vorrichtung nach einem der Ansprüche 7 bis 11, dadurch gekennzeichnet, dass das Kamerasystem (2) mindestens ein kalibriertes Stereo-Kamerapaar umfasst.