-
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem, wobei die Kamera an dem Fahrzeug bzw. Fahrzeuggespann angeordnet ist.
-
Aus der
DE 10 2007 040 250 A1 ist ein Verfahren und eine Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder eines Fahrzeuggespannes mit mehreren gegeneinander knickbaren Fahrzeugelementen bekannt. Das Verfahren sieht vor, dass auf einer Anzeigeeinheit das Fahrzeug oder Fahrzeuggespann in gerader Stellung mit einem die gerade Stellung der Fahrzeugelemente entsprechenden statischen Anzeigeelement und zusätzlich mit jeweils einem dem jeweiligen Fahrzeugelement zugeordneten dynamischen Anzeigeelement, das in Abhängigkeit einer momentanen oder zukünftigen Stellung der gegenseitig bewegbaren Fahrzeugelemente ermittelt wird, angezeigt werden. Dabei werden die dynamischen Anzeigeelemente um ein Vielfaches verstärkt und farblich hervorgehoben angezeigt.
-
Darüber hinaus ist aus der
DE 10 2008 006 309 A1 ein Verfahren und eine Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder eines Fahrzeuggespannes, welches gegeneinander knickbare Fahrzeugelemente aufweist, bekannt. Dabei wird ein künftiger Fahrverlauf prognostiziert, welcher angibt, an welcher Position das Fahrzeug oder Fahrzeuggespann eine geradlinige Stellung erreichen wird.
-
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung einer Position einer Kamera relativ zu einer Position eines Fahrzeuges oder eines Fahrzeuggespannes, an welchem die Kamera angeordnet ist, anzugeben.
-
Die Aufgabe wird erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einem erfindungsgemäßen Verfahren zur Bestimmung einer Position und/oder Ausrichtung einer Kamera mit einem zugehörigen Kamera-Koordinatensystem relativ zu einer Position eines Fahrzeuges oder Fahrzeuggespannes mit einem zugehörigen Fahrzeug-Koordinatensystem, wobei die Kamera an dem Fahrzeug bzw. Fahrzeuggespann angeordnet ist, ist vorgesehen, dass von der Kamera eine Folge von Bildern aufgenommen wird und anhand eines ersten Bildpunktes eines ersten Bildes und eines korrespondierenden zweiten Bildpunktes eines nachfolgenden Bildes ein erster Bewegungsvektor im Kamera-Koordinatensystem ermittelt wird, wobei im Fahrzeug-Koordinatensystem ein zweiter Bewegungsvektor ermittelt wird und der erste Bildpunkt im Kamera-Koordinatensystem in das Fahrzeug-Koordinatensystem projiziert wird und in einem projizierten Punkt resultiert, wobei der projizierte Punkt gemäß dem zweiten Bewegungsvektor in dem ersten Koordinatensystem verschoben wird, so dass ein Punkt erzeugt und in das Kamera-Koordinatensystem projiziert wird, wodurch ein transformierter Punkt entsteht und in dem Kamera-Koordinationssystem aus einer Differenz zwischen dem transformierten Punkt und dem zweiten Bildpunkt Rotationsparameter und/oder Translationsparameter des Kamera-Koordinatensystems zu dem Fahrzeug-Koordinatensystem ermittelt werden.
-
Dabei wird unter dem Bewegungsvektor im Zusammenhang mit dem Verfahren eine Kombination aus Translation und Rotation, die die Bewegung des Fahrzeuges oder Fahrzeuggespannes beschreiben, verstanden.
-
Anhand des erfindungsgemäßen Verfahrens ist es in besonders vorteilhafter Weise möglich, dass eine Kamera und/oder eine Nachrüstkamera an einer beliebigen Position an dem Fahrzeug oder Fahrzeuggespann angeordnet werden kann und eine Überlagerung von Fahrkorridoren als Rangierhilfe für einen Fahrer angezeigt werden können.
-
Darüber hinaus können aufgenommene Bilder der Kamera in bereits im Fahrzeug vorhandene Bird's-Eye-View-Implementierungen integriert werden.
-
Ferner ist es bei Anwendung des Verfahrens nicht erforderlich, die Kamera manuell zu kalibrieren und/oder eine Vermessung der Position der Kamera durchzuführen.
-
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert.
-
Dabei zeigen:
-
1 schematisch ein Fahrzeug-Koordinatensystem und ein Kamera-Koordinatensystem, wobei eine Kamera an einer beliebigen Position an einem Fahrzeug oder einem Fahrzeuggespann angeordnet ist, und
-
2 schematisch ein Fahrzeuges-Koordinatensystem und ein Kamera-Koordinatensystem, wobei anhand der Koordinatensysteme ein Ablauf des Verfahrens dargestellt ist.
-
In den 1 und 2 sind ein Fahrzeug-Koordinatensystem 1 und ein Kamera-Koordinatensystem 2 dargestellt. Insbesondere ist das Fahrzeug-Koordinatensystem 1 das Bezugs-Koordinatensystem, anhand dessen das Verfahren durchgeführt wird. Dabei ist die Kamera an einer beliebigen Position an dem Fahrzeug angeordnet. Bei dem Fahrzeug kann es sich beispielsweise auch um ein Fahrzeuggespann handeln, welches gegeneinander knickbare Fahrzeugelemente aufweist.
-
Beispielsweise ist die Kamera eine Nachrüstkamera, die z. B. mittels eines Magnetfußes an dem Fahrzeug oder Fahrzeuggespann angeordnet wurde, wobei die Position und/oder Ausrichtung insbesondere für ein im Fahrzeug implementiertes System zur Rangierhilfe, bei dem üblicherweise ein Fahrkorridor auf einer Anzeigeeinheit angezeigt wird, nicht bekannt ist bzw. sind. Insbesondere ist ein Prozessormodul Bestandteil des Systems.
-
Das Fahrzeug-Koordinatensystem 1 weist drei Achsen xF, yF, zF auf, wobei ein Koordinatenursprung beispielsweise auf einer Radachse des Fahrzeuges liegt und eine erste Achse xF in Richtung Längsausdehnung des Fahrzeuges angeordnet ist. Eine zweite Achse yF verläuft in Richtung der Radachse bzw. parallel zu der Radachse. Eine dritte Achse zF beschreibt die Hochachse des Fahrzeuges.
-
Das Kamera-Koordinatensystem 2 umfasst ebenfalls drei Achsen xK, yK, zK, wobei sich die Achsen xK, yK, zK insbesondere auf die Ausrichtung der optischen Achse der Kamera beziehen.
-
Insbesondere ist in der 1 das Fahrzeug-Koordinatensystem 1 separat und das Kamera-Koordinatensystem 2 überlagernd dargestellt.
-
Dabei ist beispielhaft eine Abweichung von Translationsparamter x, y, z des Kamera-Koordinatensystems 2 zu dem ersten Fahrzeug-Koordinatensystem 1 gezeigt, wobei eine Abweichung der optischen Achse der Kamera hinsichtlich von Rotationsparametern ψ, Θ, φ auch dargestellt ist.
-
Das Verfahren sieht insbesondere vor, anhand der Ausrichtung der Koordinatensysteme 1, 2 zueinander, die Position und/oder die Ausrichtung der Kamera relativ zu einer Position des Fahrzeuges oder Fahrzeuggespannes zu ermitteln.
-
In einem ersten Verfahrensschritt wird mittels der Kamera zu einem ersten Zeitpunkt t0 ein erstes Bild aufgenommen, wobei ein erster Bildpunkt PB1, insbesondere ein feststehendes Objekt in einer Fahrzeugumgebung beispielsweise anhand des Prozessormoduls ermittelt wird. Innerhalb eines zweiten Bildes, welches zeitlich gesehen nach dem ersten Bild zu einem Zeitpunkt t1 aufgenommen wurde, wird ein zu dem ersten Bildpunkt PB1 korrespondierender zweiter Bildpunkt PB2 ermittelt und in Bezug auf das Kamera-Koordinatensystem 2 in diesem abgebildet. Dabei werden dieselben Bildpunkte PB1, PB2 mittels bekannter Korrespondenzalgorithmen, die in dem Prozessormodul hinterlegt sind, in unterschiedlichen Bildern miteinander assoziiert.
-
Insbesondere ist vorgesehen, dass die Bilder anhand einer drahtlosen Verbindung dem Prozessormodul zugeführt werden.
-
Anhand der ermittelten Bildpunkte PB1, PB2 wird ein erster Bewegungsvektor BK im Kamera-Koordinatensystem 2 ermittelt, wobei der erste Bewegungsvektor BK fehlerbehaftet sein kann. Die ermittelten Bildpunkte PB1, PB2 werden in das Fahrzeug-Koordinatensystem 1 übertragen.
-
Anschließend wird in einem zweiten Verfahrensschritt beispielsweise anhand eines Lenkwinkels, einer Gierrate, einer Bewegungsdistanz, einer Querbeschleunigung und/oder möglicherweise eines Bewegungsmodells des Fahrzeuges ein zweiter Bewegungsvektor BF im Fahrzeug-Koordinatensystem 1 ermittelt. Dabei gibt der zweite Bewegungsvektor BF eine Fahrzeugbewegung zwischen dem ersten und dem zweiten Zeitpunkt t0, t1 wieder. Insbesondere werden bzw. wird der Lenkwinkels, die Gierrate, die Bewegungsdistanz und/oder die Querbeschleunigung anhand von im Fahrzeug vorhandenen Erfassungseinheiten erfasst. Hierzu wird ein momentaner Lenkwinkel, eine momentane Gierrate, eine momentane Bewegungsdistanz und/oder eine momentane Querbeschleunigung insbesondere zu dem ersten Zeitpunkt t0 und zu dem zweiten Zeitpunkt t1, ermittelt. Beispielsweise wird der momentane Lenkwinkel über eine im Fahrzeug angeordnete CAN-Busstruktur zur Verfügung gestellt. Dabei wird der zweite Bewegungsvektor BF in das Fahrzeug-Koordinatensystem 1 abgebildet.
-
Insbesondere werden bzw. wird anhand des Lenkwinkels, der Gierrate, der Bewegungsdistanz und/oder der Querbeschleunigung zu dem ersten Zeitpunkt t0 und dem zweiten Zeitpunkt t1 eine relative Fahrzeugbewegung in Form des zweiten Bewegungsvektors BF ermittelt, wobei die relative Fahrzeugbewegung beispielsweise anhand wenigstens eines bekannten Dynamik-Modells geschätzt wird.
-
In Abhängigkeit einer Verarbeitungsgeschwindigkeit des Prozessormoduls kann eine Frequenz verarbeiteter Bilder höher sein, als eine Frequenz verarbeiteter Informationen, insbesondere der der momentanen Fahrzeugbewegung. Hierzu ist vorgesehen, dass die relative Fahrzeugbewegung zwischen Informationen der jeweils zugeführten momentanen FAhrzeugbewegung interpoliert wird. Dabei werden Zeitstempel der dem Prozessormodul zugeführten Bilder und der Informationen beispielsweise des momentanen Lenkwinkels verwendet. Um die relative Fahrzeugbewegung zu interpolieren, ist eine Anwendung verschiedener Ansätze, wie z. B: linear, quadratisch und/oder kubisch, möglich.
-
Mittels des Verfahrens ist es möglich, drei Rotationsparameter ψ, Θ, φ und/oder drei Translationsparameter x, y, z des Kamera-Koordinatensystems 2 relativ zu dem Fahrzeug-Koordinatensystem 1 zu bestimmen. Dabei ist es nicht erforderlich, dass Anfangswerte für die Suche der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z existieren, da die Position und/oder die Ausrichtung der Kamera unbekannt sind bzw. ist. Existieren z. B. grob geschätzte Anfangswerte, kann eine Rechenzeit zur Ermittlung der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z verkürzt werden.
-
Um die Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z bewerten zu können, ist eine so bezeichnete Fehlerfunktion definiert, die im Folgenden näher beschrieben wird:
Die ermittelte Korrespondenz der Bildpunkte PB1, PB2, die in dem ersten Verfahrensschritt ermittelt wurde, verbindet ein Objekt in den zwei zeitlich aufeinander folgenden Kamerabildern. Dabei sind der Ort des Objektes in Form des ersten Bildpunktes PB1 und der Ort des Objektes als korrespondierender zweiter Bildpunkt PB2 gegeben. Der erste Bildpunkt PB1 wird hierfür mittels der zu evaluierenden Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z der Kamera in das Fahrzeug-Koordinatensystem 1 zurück projiziert. Dabei wird angenommen, dass sich der erste Bildpunkt PB1 auf dem Boden/der Straße befindet, wobei die Rückprojektion in einem projizierten Punkt P'B1 resultiert.
-
Anschließend wird der projizierte Punkt P'B1 entsprechend des zweiten Bewegungsvektors in dem Fahrzeug-Koordinatensystem 1 verschoben und resultiert in einem verschobenen Punkt PF.
-
Darauf folgend wird der verschobene Punkt PF wieder in das erste Bild projiziert und resultiert in dem transformierten Punkt P'F. Anhand dieses Vorganges wird eine Bewegung des Objektes, insbesondere des ersten Bildpunktes PB1, auf Basis der zu evaluierenden Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z und einer gemessenen Fahrzeugbewegung von dem ersten Bildpunkt PB1 zu dem transformierten Punkt P'F geschätzt.
-
Aus dieser Schätzung resultiert ein Vektor B'K, wobei dieser im Anschluss daran mit dem tatsächlichen ersten Bewegungsvektor BK und dem tatsächlichen zweiten Bewegungsvektor BF in dem ersten Bild verglichen wird. Ein hierbei entstandener zweidimensionaler Fehler F, beispielsweise summiert über alle Korrespondenzen, z. B. über einen längeren Zeitraum, stellt eine Bewertungsfunktion der Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z dar. Die Bewertungsfunktion wird nun mittels bekannter Optimierungsverfahren, z. B. dem RANSAC-Algorithmus minimiert, wobei mit Hilfe des Optimierungsverfahrens die gesuchten Rotationsparameter ψ, Θ, φ und/oder Translationsparameter x, y, z für eine Transformation zwischen dem Fahrzeug-Koordinatensystem 1 und dem zweiten Kamera-Koordinatensystem 2 bestimmt werden.
-
Die Bewegungsinformationen des Fahrzeuges werden für jedes Bild und somit für jede Korrespondenz gespeichert. Dadurch können die Korrespondenzen für einen längeren Zeitraum gesammelt und zusammen verarbeitet werden. Daher kann das Verfahren auch bei vergleichsweise schlechten Sichtverhältnissen angewendet werden.
-
Das hier beschriebene Verfahren kann anhand Korrespondenzen vieler von der Kamera aufgenommener Bilder mit der jeweiligen relativen Fahrzeugbewegung gleichzeitig bei einer Suche nach optimalen Rotationsparametern ψ, Θ, φ und/oder Translationsparametern x, y, z angewendet werden.
-
In besonders vorteilhafter Weise kann das Verfahren zur Bestimmung der Position und/oder Ausrichtung der Kamera für beliebige Typen von Kameras angewandt werden.
-
Im Vergleich zu üblichen Verfahren zur Bestimmung der Position und/oder der Ausrichtung der Kamera können die drei Translationsparameter x, y, z geschätzt werden. Diese schwanken bei Werksmontage der Kamera zwar nur gering, sind bei freier Positionierung der Kamera, beispielsweise an einem Anhänger jedoch unbekannt.
-
Das beschriebene Verfahren wird zur maschinellen, beispielsweise rechnerabhängigen, Kalibrierung verwendet, wobei mittels des Verfahrens auch eine mögliche Dekalibrierung der Kamera ermittelt werden kann. Durch ein kontinuierliches Ausführen des Verfahrens, der automatischen Kalibrierung, kann erkannt werden, dass sich die Ausrichtung und/oder Position der Kamera, z. B. durch mechanische Einflüsse verändert hat und somit das System der Rangierhilfe nicht mehr verlässlich funktioniert, also die Kamera manuell und/oder automatisch kalibriert werden muss. Auch ist es anhand des Verfahrens möglich, eine vergleichsweise nicht ordnungsgemäße Funktion der Kamera, z. B. Störungen im Bild, erkannt werden.
-
Insbesondere kann das Verfahren verwendet werden, um beispielsweise anhand der ermittelten Informationen hinsichtlich der Position und/oder Ausrichtung der Kamera auf einem Bild auf einer Anzeigeeinheit Fahr-Korridore als Rangierhilfe das angezeigte Bild überlagernd darzustellen.
-
Auch ist es möglich die aufgenommenen Bilder der Kamera in Bird's-Eye-View-Systeme zu integrieren.
-
Dabei ist eine Verwendung des Verfahrens nicht auf die angegebenen Anwendungsbeispiele beschränkt.
-
Bezugszeichenliste
-
- 1
- Fahrzeug-Koordinatensystem
- 2
- Kamera-Koordinatensystem
- F
- Fehler
- PB1
- erster Bildpunkt
- P'B1
- projizierter Punkt
- PB2
- korrespondierender zweiter Bildpunkt
- PF
- erzeugter Punkt
- P'F
- transformierter Punkt
- BK
- erster Bewegungsvektor
- BF
- zweiter Bewegungsvektor
- t0
- erster Zeitpunkt
- t1
- zweiter Zeitpunkt
- xF, yF, zF
- Achsen Fahrzeug-Koordinatensystem
- xK, yK, zK
- Achsen Kamera-Koordinatensystem
- x, y, z
- Translationsparameter
- ψ, Θ, φ
- Rotationsparameter
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007040250 A1 [0002]
- DE 102008006309 A1 [0003]
