DE102007049821A1

DE102007049821A1 - Verfahren zum Kalibrieren einer Anordnung mit mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit

Info

Publication number: DE102007049821A1
Application number: DE102007049821A
Authority: DE
Inventors: Tobias Dipl.-Inform. Ehlgen
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2007-10-16
Filing date: 2007-10-16
Publication date: 2009-04-23
Also published as: WO2009049750A2; WO2009049750A3; EP2198390A2; JP2011500407A; US8599258B2; JP5077606B2; US20100214412A1

Abstract

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Anordnung aus mindestens einer an einem Fahrzeug (1) angeordneten omnidirektionalen Kamera (2) und einer optischen Anzeigeeinheit, bei dem ein von der Anzeigeeinheit dargestelltes Bild eine Perspektive einer oberhalb vom Objekt (1) gedachten virtuellen Kamera wiedergibt, wobei ein Bild der virtuellen Kamera in ein Objektkoordinatensystem projiziert wird und wobei dabei sich ergebende Punkte (Xw, Xw.Y) in die omnidirektionale Kamera projiziert werden, wobei bei der Projektion des Bildes der virtuellen Kamera in das Objektkoordinatensystem Pixel (xp) des Bildes der virtuellen Kamera innerhalb eines Kreises oder einer Ellipse, der oder die um das Objekt (1) gedacht ist, auf eine gedachte Ebene projiziert werden, während Pixel (xp) des Bildes außerhalb des Kreises oder der Ellipse von der virtuellen Kamera in das Objektkoordinatensystem so transformiert werden, dass sie auf eine gedachte Fläche projiziert werden, die vom Rand des Kreises oder der Ellipse aus ansteigt.

Description

Die Erfindung betrifft ein Verfahren zum Kalibrieren einer Anordnung aus mindestens einer an einem Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera und einer optischen Anzeigeeinheit, bei dem ein von der Anzeigeeinheit dargestelltes Bild eine Perspektive einer oberhalb vom Objekt gedachten virtuellen Kamera wiedergibt, wobei ein Bild der virtuellen Kamera in ein Objektkoordinatensystem projiziert wird und wobei ein Bild der omnidirektionalen Kamera in das Objektkoordinatensystem projiziert wird. Darüber hinaus betrifft die Erfindung ein Verfahren zur Bildverarbeitung und Bilddarstellung mittels einer Anordnung aus mindestens einer an einem Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera und einer optischen Anzeigeeinheit.
Omnidirektionale Kameras sind grundsätzlich bekannt. Mit ihnen können omnidirektionale Bilder (auch Vogelperspektiv-Bilder oder bird's eye view genannt) erfasst werden, deren Bildinformationen Daten, wie beispielsweise Bildpositionen in Bezug auf die Lage von erfassten Objekten oder Gegenständen, einschließlich des Abstands des Objekts zur omnidirektionalen Kamera enthalten.
Omnidirektionale Kameras werden beispielsweise zur Überwachung von Fahrzeugumgebungen vor, neben und/oder hinter einem Fahrzeug eingesetzt. Dabei werden beispielsweise mittels der omnidirektionalen Kamera in der Fahrzeugumgebung Objekte oder Gegenstände identifiziert. Um insbesondere die Position und/oder den Abstand der identifizierten Objekte hinreichend genau bestimmen zu können, sind die genaue Position und die genaue Ausrichtung der omnidirektionalen Kamera relativ zum Fahrzeug bekannt. Insbesondere können omnidirektionale Kameras zum Navigieren unübersichtlicher Fahrzeuge, wie LKW, beispielsweise beim rückwärts Fahren verwendet werden, indem von der Kamera aufgenommene Bilder einem Fahrer auf einer optischen Anzeigeeinheit präsentiert werden. Dabei werden die stark verzerrten Bilder der omnidirektionalen Kamera so transformiert, dass sich für den Fahrer eine Vogelperspektive ergibt. Problematisch ist dabei, dass der Nahbereich um das Fahrzeug damit sehr gut erfassbar ist, jedoch weiter entfernte Objekte nicht dargestellt werden.
Aus der US 7,161,616 B1 ist eine Bildverarbeitungstechnik bekannt, bei der eine Vielzahl von Kameras Bilder einer Umgebung eines Fahrzeugs aufnimmt. Diese Bilder werden so transformiert, dass die Umgebung des Fahrzeugs als auf eine Innenfläche einer Art Halbkugel oder Schüssel projiziert interpretiert wird, so dass auch weiter entfernte Bildpunkte dargestellt werden. Dabei nimmt die Verzerrung von einem zentralen Bereich der Halbkugel aus nach außen zu. Das Verfahren erfordert einen hohen Rechenaufwand.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Kalibrieren einer Anordnung aus mindestens einer omnidirektionalen Kamera und einer optischen Anzeigeeinheit und ein Verfahren zur Bildverarbeitung und Bilddarstellung mittels einer Anordnung aus mindestens einer an einem Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera und einer optischen Anzeigeeinheit anzugeben.
Hinsichtlich des Verfahrens zum Kalibrieren der Anordnung wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst. Hinsichtlich des Verfahrens zur Bildverarbeitung und Bilddarstellung wird die Aufgabe erfindungsgemäß durch die im Anspruch 5 angegebenen Merkmale gelöst.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Erfindungsgemäßen wird eine Anordnung aus mindestens einer an einem Objekt, insbesondere einem Fahrzeug angeordneten omnidirektionalen Kamera und einer optischen Anzeigeeinheit mit dem nachfolgend beschriebenen Verfahren kalibriert. Oberhalb des Objekts wird eine virtuelle Kamera definiert, deren Bild von der Anzeigeeinheit dargestellt wird. Ein Bild der virtuellen Kamera wird in ein Objektkoordinatensystem projiziert. Dabei sich ergebende Punkte im Objektkoordinatensystem werden in die omnidirektionale Kamera, beziehungsweise in deren Koordinatensystem projiziert.
Bei der Projektion des Bildes der virtuellen Kamera in das Objektkoordinatensystem werden Pixel des Bildes der virtuellen Kamera innerhalb eines Kreises oder einer Ellipse, der oder die um das Objekt gedacht ist, auf eine gedachte Ebene projiziert. Pixel des Bildes außerhalb des Kreises oder der Ellipse werden von der virtuellen Kamera in das Objektkoordinatensystem so transformiert, dass sie auf eine gedachte Fläche projiziert werden, die vom Rand des Kreises oder der Ellipse aus ansteigt, wobei eine Höhe der Pixel auf der Fläche im Objektkoordinatensystem proportional zu einer Entfernung des Pixels zu einem Mittelpunkt des Kreises oder der Ellipse ist. Mit einem so kalibrierten System ist eine nähere Umgebung des Objekts innerhalb des Kreises oder der Ellipse weitgehend unverzerrt darstellbar, während auch weiter entfernte Bereiche der Umgebung, die bei bekannten Verfahren nicht sichtbar sind, dargestellt werden. Die so erzielte erweiterte Vogelperspektive erzeugt ein weites und intuitives Sichtfeld. Für einen Fahrer eines Fahrzeugs wird das Manövrieren, insbesondere beim rückwärts Fahren, einfacher.
Vorzugsweise weist die Fläche die Form einer Mantelfläche eines Kegelstumpfs auf. Die Mantelfläche des Kegelstumpfes weist dabei eine lineare Steigung auf, daher kann eine Projektion auf diese Fläche auf besonders einfache Weise berechnet werden. Weiterhin bietet eine Mantelfläche eines Kegelstumpfes als Projektionsfläche den Vorteil, dass dabei im Vergleich zu Flächen mit nicht-linearer Steigung, beispielsweise bei einem Ellipsoid, deutlich geringere Verzerrungen im Bild entstehen. Durch die Verwendung einer Mantelfläche eines Kegelstumpfes ergibt sich für den Fahrer eine besonders intuitive und auf einfache Weise eingängige Bilddarstellung. Verzerrungen treten hierbei allenfalls im Randbereich der Mantelfläche des Kegelstumpfes auf, wohingegen Darstellungen in der Bildmitte in besonders vorteilhafter Weise verzerrungsfrei erfolgt.
Die omnidirektionale Kamera wird bevorzugt bezüglich intrinsischer Parameter mit Hilfe eines Kalibrationskörpers kalibriert, der den gesamten Sichtbereich der Kamera umfasst.
Der Kalibrationskörper weist insbesondere die Form eines Fasses auf, dessen Innenseite mit kreisförmigen Markierungen versehen ist. Zur Kalibrierung der omnidirektionalen Kamera werden die Markierungen insbesondere mittels eines in [T. Luhmann. Nahbereichsphotogrammetrie, Herbert Wichmann Verlag, 2000. 4] beschriebenen Verfahrens mit Subpixel-Genauigkeit vermessen. Extrinsische Kameraparameter, beispielsweise Translation und Rotation der Kamera bezüglich des Objektkoordinatensystems, werden bei am Objekt montierten omnidirektionalen Kameras ermittelt. Hierzu können rechteckige Markierungen verwendet werden. Beispielsweise kommt hierbei ein in [L. E. Krüger, C. Wähler, A. Wurz-Wessel, F. Stein. In-factory calibration of multiocular camera Systems. SPIE Photonics Europe (Optical Metrology in Production Engineering), 5457: 126–137, Sep 2004. 4,5] beschriebenes Verfahren zum Einsatz.
Intrinsische Parameter der Kamera sind beispielsweise eine fokale Länge, eine Pixelgröße (Breite, Höhe), ein Bildmittelpunkt bezüglich des jeweiligen Koordinatensystems und Verzeichnungen.
Die so kalibrierte Anordnung wird nun in einem Verfahren zur Bildverarbeitung und Bilddarstellung benutzt, bei dem eine Umgebung des Objekts mit der omnidirektionalen Kamera aufgenommen und in der Anzeigeeinheit entsprechend der Kalibrierung wiedergegeben wird.
Dabei kommen vorzugsweise zwei omnidirektionale Kameras zum Einsatz, die beispielsweise an einer Rückseite eines Fahrzeugs im Bereich einer Dachkante angeordnet sein können. Es kann jedoch auch eine größere Anzahl omnidirektionaler Kameras oder nur eine omnidirektionale Kamera vorgesehen sein.
Insbesondere wird ein von den omnidirektionalen Kameras erfasster Bereich bezüglich des Fahrzeugs asymmetrisch auf die Kameras aufgeteilt. Diese Aufteilung ist beispielsweise in der Patentschrift DE 10 2006 003 538 B3 der Anmelderin beschrieben. Dadurch wird vermieden, dass weitere Objekte in der Umgebung des Fahrzeugs infolge der Annahme einer ebenen Umgebung, die sich aus der Rückprojektion auf die gedachte Ebene ergibt, aus dem Sichtbereich verschwinden. Dabei wird jeder Punkt des Objektkoordinatensystems hinter dem Fahrzeug und rechts davon in die rechts angeordnete omnidirektionale Kamera projiziert. Jeder Punkt links vom Fahrzeug wird in die links angeordnete omnidirektionale Kamera projiziert.
Vorzugsweise wird bei rückwärts fahrendem Fahrzeug und/oder eingelegtem Rückwärtsgang abhängig von einem Lenkwinkel eine Fahrbewegung prognostiziert und dem Bild in der Anzeigeeinheit überlagert. Auf diese Weise kann der Fahrer abschätzen, ob er mit dem aktuellen Lenkwinkel mit dem Fahrzeug beim rückwärts Fahren eine gewünschte Position erreichen kann.
Zur Vereinfachung der Prognose kann der Berechnung ein Einzelspurmodell zugrunde gelegt werden, bei dem je zwei Räder einer Achse durch ein virtuelles Rad in der Mitte der Achse modelliert werden.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 eine Rückseite eines Fahrzeugs mit zwei omnidirektionalen Kameras,
2 eine schematische Darstellung eines Fahrzeugs und seiner Umgebung in Standard-Vogelperspektive, wie aus dem Stand der Technik bekannt,
3 eine schematische Darstellung eines Fahrzeugs und seiner Umgebung in mittels des erfindungsgemäßen Verfahrens zur Bildverarbeitung und Bilddarstellung erweiterter Vogelperspektive,
4 ein auf einer optischen Anzeigeeinheit im Fahrzeug gezeigte Ansicht des Fahrzeugs und seiner Umgebung in erweiterter Vogelperspektive mit überlagerter prognostizierter Fahrbewegung beim Rückwärtsfahren, und
5 ein Einzelspurmodell zur Prognose der Fahrbewegung.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist eine Rückseite eines als Fahrzeug ausgebildeten Objekts 1 mit zwei omnidirektionalen Kameras 2 gezeigt. Das Bezugszeichen 1 wird im Folgenden auch für das Fahrzeug verwendet.
Die omnidirektionalen Kameras 2 nehmen eine Umgebung des Fahrzeugs 1 neben und hinter dem Fahrzeug 1 in einem sehr weiten Winkel auf. Ein bearbeitetes Bild der Kameras wird im Fahrzeug 1 auf einer nicht gezeigten Anzeigeeinheit dargestellt. Die Kameras 2 werden hierzu bezüglich des Fahrzeugs 1 kalibriert. Wegen der festen Anordnung der Kameras 2 muss die Kalibrierung nur einmal durchgeführt werden.
Ziel der Kalibrierung ist zunächst die Erzeugung einer Darstellung des Fahrzeugs 1 und seiner Umgebung in Vogelperspektive. Hierzu wird eine virtuelle Kamera über dem Fahrzeug 1 definiert. Jedes der Pixel x_p = (x_p·x, x_p·y)^T der virtuellen Kamera wird auf eine gedachte Ebene Y = 0 projiziert (flache Welt Annahme), wobei sich in einem am Fahrzeug 1 ausgerichteten Objektkoordinatensystem Punkte X_w ergeben: Xw = λXr + Cp wobei
Dabei ist f die Brennweite der virtuellen Kamera, R_p und C_p sind die Rotation und Translation der virtuellen Kamera bezüglich des Objektkoordinatensystems, dessen Koordinatenursprung beispielsweise in der Mitte eines Stoßfängers an der Rückseite des Fahrzeugs 1 liegen kann, wobei die y-Achse senkrecht nach oben weist.
Die rückprojizierten Punkte X_w werden in mindestens eine der omnidirektionalen Kameras 2, das heißt in die damit aufgenommenen Bilder, projiziert. Diese Projektion ist detailliert in [C. Toepfer, T. Ehlgen. A unifying omnidirectional camera model and ist applications. In Omnivs, 2007. 2] beschrieben.
Um zu vermeiden, dass weitere Objekte in der Umgebung des Fahrzeugs 1 infolge der Annahme einer ebenen Umgebung, die sich aus der Rückprojektion auf die gedachte Ebene ergibt, aus dem Sichtbereich verschwinden, wird eine asymmetrische Aufteilung des von den omnidirektionalen Kameras erfassten Bereichs bezüglich des Fahrzeugs gewählt. Dabei wird jeder Punkt X_w des Objektkoordinatensystems hinter dem Fahrzeug 1 und rechts davon in die rechts angeordnete omnidirektionale Kamera 2 projiziert. Jeder Punkt X_w links vom Fahrzeug 1 wird in die links angeordnete omnidirektionale Kamera 2 projiziert. Im Detail ist dies in der Patentschrift DE 10 2006 003 538 B3 der Anmelderin beschrieben.
In 2 ist eine schematische Darstellung des Fahrzeugs 1 und seiner Umgebung in der mit einer so kalibrierten Anordnung aus den zwei omnidirektionalen Kameras 2 und der optischen Anzeigeeinheit erzielten Standard-Vogelperspektive gezeigt. Mittels der Kalibrierung wird die gezeigte entzerrte Darstellung erreicht, wie durch das Schachbrettmuster angedeutet ist. Die asymmetrische Aufteilung des Sichtfeldes auf die zwei omnidirektionalen Kameras 2 ist mit der unterschiedlichen Darstellung des Schachbrettmusters angedeutet. Ein Fahrer des Fahrzeugs 1 kann so feststellen, ob sich Hindernisse in der Umgebung des Fahrzeugs 1 befinden. Soweit ist das Verfahren aus dem Stand der Technik bekannt.
Erfindungsgemäß wird die Anordnung aus den zwei omnidirektionalen Kameras 2 und der optischen Anzeigeeinheit so kalibriert, dass eine Rückprojektion auf die gedachte Ebene Y = 0 nur in einem inneren Bereich 3 der Umgebung des Fahrzeugs 1 erfolgt. Dieser innere Bereich 3 liegt innerhalb eines gedachten Kreises mit dem Radius r um das Fahrzeug 1 bzw. den Koordinatenursprung des Objektkoordinatensystems. Jedes Pixel x_p im Bild der virtuellen Kamera wird auf die gedachte Ebene rückprojiziert und damit überschnitten, so dass sich der Punkt X_w im Objektkoordinatensystem ergibt.
Eine Interpolation des projizierten Punktes X_w ergibt eine Intensitätswert für das Pixel x_p.
Punkte X_w außerhalb des inneren Bereichs 3 werden nicht auf die gedachte Ebene sondern auf eine vom Rand des Kreises aus ansteigende Fläche projiziert. Das bedeutet, dass eine Höhe X_w·Y von einer Entfernung des Punkts X_w von einem Mittelpunkt des Kreises abhängt: Xw·Y = m·(||Xw|| – r)
Dabei ist r der Radius des Kreises und m der Anstieg der Fläche. Die sich so ergebende erweiterte Vogelperspektive ist in 3 gezeigt. Ein Sichtfeld des Fahrers ist auf diese Weise innerhalb des inneren Bereichs 3 wie bisher unverzerrt. Außerhalb des inneren Bereichs 3 wird die weitere Umgebung des Fahrzeugs 1 dargestellt.
In 4 ist eine auf der optischen Anzeigeeinheit im Fahrzeug 1 gezeigte Ansicht des Fahrzeugs 1 und seiner Umgebung in erweiterter Vogelperspektive mit einer überlagerten prognostizierten Fahrbewegung beim Rückwärtsfahren gezeigt. Die Fahrbewegung wird in der Art eines ersten Korridors 4 für die Bewegung des hinteren Stoßfängers und eines zweiten Korridors 5 für die Bewegung des vorderen Stoßfängers dargestellt, innerhalb dessen das Fahrzeug 1 sich entsprechend einem aktuellen Lenkwinkel δ_R bewegen wird, sofern der Lenkwinkel δ_R nicht verändert wird. Wird der Lenkwinkel δ_R verändert muss die Prognose entsprechend angepasst werden. Die Linie 4.1 des Korridors bezeichnet den hinteren Stoßfänger. Die Linie 4.2 bezeichnet einen Abstand von beispielsweise 1 m vom Stoßfänger aus nach hinten, was beispielsweise dem Schwenkbereich von Hecktüren des Fahrzeugs 1 entsprechen kann. Die Linie 4.3 bezeichnet einen Abstand von etwa der Länge des Fahrzeugs 1. Der Radius r des Kreises, der den inneren Bereich 3 umschließt, sollte wenigstens dem Abstand der Linie 4.3 vom hinteren Stoßfänger entsprechen.
Zur Vereinfachung der Prognose wird ein so genanntes Einzelspurmodell 6 zugrunde gelegt, bei dem je zwei Räder einer Achse des Fahrzeugs 1 durch ein virtuelles Rad 7 in der Mitte der Achse modelliert werden. Das vordere und das hintere virtuelle Rad 7 sind durch eine starre Linie verbunden. Das Modell ist unter der Einschränkung ausreichend, dass das Fahrzeug 1 sich nicht um seine Längsachse bewegt und die Last auf den Rädern gleich bleibt. Für kleine Geschwindigkeiten, wie sie beim rückwärts fahren und manövrieren auftreten sind diese Annahmen gerechtfertigt. In diesem Zusammenhang kann/können auch basierend auf dieser Modellannahme ein/mehrere Korridor(e) im Bild dargestellt werden, welche(r) dem Fahrer eine besonders intuitive Wahrnehmung der Situation erlaubt und eine besonders einfache Manövrierung des Fahrzeugs ermöglicht.
Folgende feststehende Parameter werden im Einzelspurmodell 6 berücksichtigt:

l_W: Breite des Fahrzeugs
l_FR: Abstand von Vorderachse zu Hinterachse
l_RQ: Abstand von der Hinterachse zum hinteren Stoßfänger

Weiter werden folgende veränderliche Parameter verwendet:

δ_R: Lenkwinkel

Die weiteren Parameter sind vom Lenkwinkel δ_R abhängig:

r_F: Bewegungsradius des vorderen virtuellen Rades 7
r_R: Bewegungsradius des hinteren virtuellen Rades 7
r_Q: Bewegungsradius eines Mittelpunkts des hinteren Stoßfängers
r_P: Bewegungsradius eines linken Außenpunkts des hinteren Stoßfängers
r_S: Bewegungsradius eines rechten Außenpunkts des hinteren Stoßfängers
Ψ_Q: Winkel zwischen dem hinteren virtuellen Rad 7 und dem Mittelpunkt des hinteren Stoßfängers bezogen auf einen durch den Lenkwinkel δ_R bestimmten Momentanpol 8

Das Modell wird mittels folgender Gleichungen gebildet:
Die allgemeine Beziehung
führt zu:
Die Bewegungsradien des linken und des rechten Außenpunkts des hinteren Stoßfängers können analog zu r_Q berechnet werden:
Die omnidirektionalen Kameras 2 sind insbesondere als Spiegel-Linsen-Kameras ausgebildet.
Die beschriebenen Verfahren sind ebenso mit nur einer omnidirektionalen Kamera 2 oder mit mehr als zwei omnidirektionalen Kameras 2 durchführbar.
Die beschriebenen Verfahren sind prinzipiell an beliebigen Objekten 1 durchführbar.
Die Kameras 2 können im Bereich einer Dachkante des Fahrzeugs 1 angeordnet sein.
Der innere Bereich 3 kann statt mit Hilfe eines Kreises auch mit Hilfe einer Ellipse beschrieben werden.
Die gedachte Ebene kann einem Untergrund entsprechen, auf dem das Fahrzeug 1 steht.

1: Objekt, Fahrzeug
2: omnidirektionale Kamera
3: innerer Bereich
4: erster Korridor
4.1 bis 4.3: Linie
5: zweiter Korridor
6: Einzelspurmodell
7: virtuelles Rad
8: Momentanpol
C_P: Translation der virtuellen Kamera
δ_R: Steuerwinkel
f: Brennweite der virtuellen Kamera
l_W: Breite des Fahrzeugs
l_FR: Abstand von Vorderachse zu Hinterachse
l_RQ: Abstand von der Hinterachse zum hinteren Stoßfänger
Ψ_Q: Winkel zwischen dem hinteren virtuellen Rad und dem Mittelpunkt des hinteren Stoßfängers
r: Radius
r_F: Bewegungsradius des vorderen virtuellen Rades
r_P: Bewegungsradius eines linken Außenpunkts des hinteren Stoßfängers
r_Q: Bewegungsradius eines Mittelpunkts des hinteren Stoßfängers
r_R: Bewegungsradius des hinteren virtuellen Rades 6
r_S: Bewegungsradius eines rechten Außenpunkts des hinteren Stoßfängers
R_p: Rotation der virtuellen Kamera
x_p: Pixel der virtuellen Kamera
X_w: Punkt im Objektkoordinatensystem
X_w·Y: Höhe des Punktes im Objektkoordinatensystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 7161616 B1 [0004]
- DE 102006003538 B3 [0016, 0032]

Zitierte Nicht-Patentliteratur

- T. Luhmann. Nahbereichsphotogrammetrie, Herbert Wichmann Verlag, 2000. 4 [0012]
- L. E. Krüger, C. Wähler, A. Wurz-Wessel, F. Stein. In-factory calibration of multiocular camera Systems. SPIE Photonics Europe (Optical Metrology in Production Engineering), 5457: 126–137, Sep 2004. 4,5 [0012]
- C. Toepfer, T. Ehlgen. A unifying omnidirectional camera model and ist applications. In Omnivs, 2007. 2 [0031]

Claims

Verfahren zum Kalibrieren einer Anordnung mit mindestens einer an einem Objekt (1), insbesondere einem Fahrzeug (1) angeordneten omnidirektionalen Kamera (2) und einer optischen Anzeigeeinheit, bei dem ein von der Anzeigeeinheit dargestelltes Bild eine Perspektive einer oberhalb vom Objekt (1) gedachten virtuellen Kamera wiedergibt, wobei ein Bild der virtuellen Kamera in ein Objektkoordinatensystem projiziert wird und wobei dabei sich ergebende Punkte (X_w, X_w·Y) in die omnidirektionale Kamera projiziert werden, dadurch gekennzeichnet, dass bei der Projektion des Bildes der virtuellen Kamera in das Objektkoordinatensystem Pixel (x_p) des Bildes der virtuellen Kamera innerhalb eines Kreises oder einer Ellipse, der oder die um das Objekt (1) gedacht ist, auf eine gedachte Ebene projiziert werden, während Pixel (x_p) des Bildes außerhalb des Kreises oder der Ellipse von der virtuellen Kamera in das Objektkoordinatensystem so transformiert werden, dass sie auf eine gedachte Fläche projiziert werden, die vom Rand des Kreises oder der Ellipse aus ansteigt, wobei eine Höhe der Punkte (X_w, X_w·Y) auf der Fläche im Objektkoordinatensystem proportional zu einer Entfernung des Punktes (X_w) zu einem Mittelpunkt des Kreises oder der Ellipse ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fläche die Form einer Mantelfläche eines Kegelstumpfs aufweist.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die omnidirektionale Kamera (2) bezüglich intrinsischer Parameter mit Hilfe eines Kalibrationskörpers kalibriert wird, der den gesamten Sichtbereich der omnidirektionalen Kamera (2) umfasst.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Kalibrationskörper die Form eines Fasses aufweist, dessen Innenseite mit kreisförmigen Markierungen versehen ist.
Verfahren zur Bildverarbeitung und Bilddarstellung mittels einer Anordnung mit mindestens einer an einem Objekt (1), insbesondere einem Fahrzeug (1), angeordneten omnidirektionalen Kamera (2) und einer optischen Anzeigeeinheit, dadurch gekennzeichnet, dass die Anordnung mittels eines Verfahrens nach einem der Ansprüche 1 bis 4 kalibriert ist, wobei eine Umgebung des Objekts (1) mit der omnidirektionalen Kamera (2) aufgenommen und in der Anzeigeeinheit entsprechend der Kalibrierung wiedergegeben wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass Bilder zweier omnidirektionaler Kameras (2), die an einer Rückseite des Fahrzeugs (1) angeordnet sind, aufgenommen werden.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein von den omnidirektionalen Kameras (2) erfasster Bereich bezüglich des Fahrzeugs (1) asymmetrisch auf die omnidirektionalen Kameras (2) aufgeteilt ist.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass bei rückwärts fahrendem Fahrzeug (1) und/oder eingelegtem Rückwärtsgang abhängig von einem Lenkwinkel (δ_R) eine Fahrbewegung prognostiziert und dem Bild in der Anzeigeeinheit überlagert wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Prognose ein Einzelspurmodell (6) zugrunde gelegt wird, bei dem je zwei Räder einer Achse durch ein virtuelles Rad (7) in der Mitte der Achse modelliert werden.